קברו של רבי ירמיה נמצא בצד הדרומי של העיר טבריה, בינות למגורים בסמוך לאזור המלונות. ציון הקבר נמצא על במה מוגבהת מסויידת לבן המקורה בגג ומוקפת עמודים. בעבר הייתה במקום מצבת אבן בזלת פשוטה כפי שמתאר זאת רבי משה באסולה: סמוך לחמי טבריה, בשיפוע ההר, קבור ר' ירמיה, ציונו מעט אבנים שחורות…"