שנות חייו הראשונות של עקיבא בן יוסף לוטות בערפל. על-פי התלמוד הוא נולד למשפחת גרים, והיה רועה צאן, ובצעירות לא למד תורה. באותן שנים היה בז לתלמידי חכמים, והיה רגיל לומר: "מִי יִתֵּן לִי תַּלְמִיד חָכָם וַאֲנַשְׁכֶנּוּ כַּחֲמוֹר" (פסחים דף מ"ט ע"ב). על התפנית שהביאה אותו לבית המדרש מובאים שני סיפורים. על פי אחד מהם, כאשר התבונן עקיבא הרועה בנביעה של מים והבחין כי האבנים סביבה שחוקות וחלקות. אמר בלבו: אם האבן החזקה לא עומדת בפני המים הרכים, קל וחומר שדברי התורה יכולים לחדור לליבי. הסיפור האחר, רבי עקיבא בצעירותו היה רועה את עדרי כלבא שבוע – מעשירי ירושלים באותם ימים. רחל, בתו של כלבא שבוע ראתה שהוא צנוע וכי הוא "מעולה" כלומר בעל אישיות מעולה ומיוחדת, והיא ביקשה להתחתן איתו ובתנאי שילך ללמוד. הנישואין יצאו לפועל בניגוד לדעתו של האב, ורבי עקיבא הלך ללמוד כפי שהבטיח. וכך אחרי שנות לימוד רבות הפך רבי עקיבא לאחד מגדולי החכמים בדורו.
בשנות נישואיהם הראשונות היו עקיבא ורחל עניים מרודים. רחל, שהורגלה לחיי עושר בבית אביה, נושלה מכל רכושו בשל נישואיה לרועה פשוט ובור. בתלמוד מסופר כי בני הזוג היו ישנים על מצע של קש או של זרדים, ובו היו משתמשים גם לחימום ולתאורה.
עוד מסופר כי רבי עקיבא עזב את ביתו למשך שתים עשרה שנים כדי להתמסר ללימוד תורה אצל רבותיו. כשחזר שמע את אשתו אומרת לשכנותיה כי הייתה מוכנה להמתין לו שתים עשרה שנים נוספות בעבור התורה. שמע זאת רבי עקיבא וחזר ללמוד עוד שתים עשרה שנים. עם שובו יצאה לקראתו אשתו. תלמידיו שלא הכירו אותה הדפו אותה, אך הוא הודיע להם כי:"שלי ושלכם [כלומר התורה שלי והתורה שלכם] – שלה הוא". ואחר כך כפיצוי לשנות העוני בהם נתנה וויתרה על כל קניין חומרי למען לימודו של בעלה, נתן לה תכשיט יקר שנקרא: "עיר של זהב", על שם צורת ירושלים שחקוקה בו.
רבי עקיבא נמנה על חכמי יבנה. יבנה הייתה המרכז הרוחני החדש שהתפתח לאחר חורבן בית המקדש, לבקשתו של רבן יוחנן בן זכאי מן השלטון הרומאי "תנו לי את יבנה וחכמיה". ביבנה נקבצו רבי אליעזר בן הורקנוס ורבי יהושע בן חנניה, רבי אלעזר בן עזריה ורבי טרפון, ועוד חכמים רבים אחרים. שם הוקמה מחדש הסנהדרין ונטלה לידיה את הנהגתו הרוחנית של העם.
רבי עקיבא תמך במרד בר כוכבא, וכאשר היה רואה אותו היה אומר: זה המלך המשיח. והוא אף דרש על בר-כוכבא את הפסוק: "דרך כוכב מיעקב".
התלמוד מספר כי היו לרבי עקיבא 24,000 תלמידים, "וכולם מתו בפרק אחד משום שלא נהגו כבוד זה בזה". יש שמשערים כי אין מדובר במגפה מסתורית, וכי בסיפור זה רמוזים תמיכתו של רבי עקיבא במרד בר כוכבא, והנספים הרבים בעקבות כישלון המרד. בשלב מאוחר יותר מוזכרת קבוצה קטנה של תלמידים שהעמיד רבי עקיבא בזקנותו, כלומר אחרי מות התלמידים הראשונים. חכמים אלו הםרבי מאיר, רבי נחמיה, רבי יהודה, רבי שמעון ורבי אלעזר בן שמוע. חכמים אלו הם שהניחו את התשתית לכל החיבורים מן התקופה התנאית: המשנה, התוספתא ומדרשי ההלכה, שנחשבים לכן כולם חיבורים מבית מדרשו של רבי עקיבא (כלשון הגמרא בסנהדרין דף פ"ו, שם נמנו החיבורים התנאיים עם שמות התנאים שעל פיהם נכתבו החיבורים, ובסיום נאמר שם: "וכולהו אליבא דרבי עקיבא", כלומר כל החיבורים חוברו לפי דרכו של רבי עקיבא). בבית מדרש זה דרשו על כל אות וכל תג שבמקרא "תלי תלים של הלכות". זאת, בניגוד לבית מדרשו של רבי ישמעאל, שסבר כי "דיברה תורה בלשון בני אדם".
חכמים מפליגים בשבחו של רבי עקיבא ומציינים שהייתה ראויה תורה להינתן על ידו מסיני. אומרת הגמרא: "בשעה שעלה משה למרום מצאו להקב"ה שהוא קושר כתרים לאותיות". כששאל משה מה טיבן של תגים אלו, הסביר לו הקב"ה כי ביום מן הימים יעמוד חכם מישראל, עקיבא בן יוסף שמו, שעתיד לדרוש על כל תג ותג – תילי תלין של הלכות. ביקש משה "הראהו לי", והיה יושב בבית מדרשו של רבי עקיבא ולא הבין דבר. אמר משה: "רבונו של עולם, יש לך אדם כזה, ואתה נותן תורה על-ידי?. אמר לו הקב"ה: "שתוק, כך עלה במחשבה לפני". רבי עקיבא נמנה גם על קבוצה מצומצמת של יודעי חכמת הנסתר שנכנסו לפרדס, והוא היחיד שמעידים עליו כי "נכנס בשלום ויצא בשלום".
פעם אחת היו רבי עקיבא וחבריו מהלכים בדרך וראו שועל שיוצא מבית קודש הקודשים שבהר הבית. התחילו החכמים בוכים, ואילו רבי עקיבא – מחייך. שאלו אותו: "על מה אתה מחייך", והשיב להם בשאלה "מפני מה אתם בוכים"? אמרו לו: "וכי לא ברור לך? הרי על קודש הקודשים הצטווינו 'והזר הקרב יומת', ועכשיו שועלים מהלכים בו! ולא נבכה?!". אמר להם רבי עקיבא: יש לנו נבואות נחמה ונבואות פורענות. עכשיו שראינו כי התקיימו נבואות הפורענות, סמוכים ובטוחים אנו שגם נבואות הנחמה יתקיימו [מכות דף כ"ד ע"א].
רבי עקיבא הוצא להורג באכזריות וביסורים קשים על-ידי הרומאים, אך קיבל עליו עול מלכות שמים בקריאת שמע, מבלי להתחשב בייסורים, וזאת מפני שבפסוק זה עצמו כלולה החובה לקבל עול מלכות שמים "בכל נפשך" כלומר גם כאשר נפשך ניטלת. וכך מתואר המעמד בתלמוד (ברכות ס"א ע"ב):
"בשעה שהוציאו את רבי עקיבא להריגה זמן קריאת שמע היה, והיו סורקים את בשרו במסרקות של ברזל, והיה מקבל עליו עול מלכות שמים. אמרו לו תלמידיו: רבינו, עד כאן? אמר להם: כל ימי הייתי מצטער על פסוק זה: 'בכל נפשך' – אפילו נוטל את נשמתך, אמרתי: מתי יבא לידי ואקיימנו, ועכשיו שבא לידי לא אקיימנו? היה מאריך באחד עד שיצתה נשמתו באחד. יצתה בת קול ואמרה: אשריך רבי עקיבא שיצאה נשמתך באחד".
