רבי יוחנן הסנדלר ראה עצמו כתלמידו המובהק של רבי עקיבא, ובין השאר מוסר בשמו הלכה המחמירה על טמאים מסויימים שלא להיכנס כלל לבית המדרש (ברכות כ"ב ע"א).  בירושלמי (חגיגה ט"ו) מסופר כי תלמידי רבי עקיבא התווכחו כמה מעלות יש בקודש, ורבי יוחנן טען כנגד רבי מאיר "מה שאני למדתי מר' עקיבא בעמידה, אתה לא למדת ממנו אפילו בישיבה". כשעוד היה רבי עקיבא בחיים והיה חבוש אצל הרומאים, ביקשו חכמים תחבולה להיוועץ עמו בדבר הלכה. מה עשה רבי יוחנן הסנדלר? לבש בגדי רוכל והיה עובר סמוך לחלון תאו של רבי עקיבא. והיה מכריז על סחורתו ומבליע בדבריו בנגינה את השאלה ההלכתית. ואף רבי עקיבא היה עונה כנגדו כמתעניין בסחורתו, אולם בעצם רמז לו בדבריו לפסיקתו בהלכה (ירושלמי יבמות ס"ח). במגילת יוחסין עתיקה מיוחס רש"י לדוד המלך כנצר למשפחתו של רבי יוחנן הסנדלר.