司馬遷在20歲時，為了“網羅天下放失舊聞”，更好地熟悉曆史和研究曆史，在父親的支持下，開始了他的壯遊。從京師長安出發，出武關（今陝西商縣東），經南陽（今河南南陽縣），過南郡（今湖北江陵縣）渡江輾轉到汨羅江畔，憑吊屈原，“想見其為人”，不禁為之淒然淚下，對屈原的不幸，予以深切的同情。他從內心悼念這位誌潔行廉、剛正不阿的偉大詩人。
司馬遷然後逆湘江而上，到達零陵郡營道縣（今湖南寧遠縣）。九嶷山就在這裏，傳頌南巡時死於此地，他考察了舜的葬地和事跡。又從湘南去湘西，循沉江而下，這就是所謂的“門規九嶷，浮於沅、湘”。然後，他又東浮大江，登上江西的廬山，了解大禹疏導九江的傳說。他順江而東，登上會稽山（今浙江紹興縣東南）。傳說大禹曾在此大會諸侯計功，故名會稽。山上有“禹穴”，據說大禹曾進去過，因而得名。司馬遷對“禹穴”也作了實地考察，此即“上會稽，探禹穴”。從越至吳，登姑蘇山，遠眺五湖。他見到湖水汪洋浩瀚，相連成片，因而注意到水利：“甚哉，水之為利害也！”（《河渠書》）
司馬遷遊曆了江南之後，便渡江北上，來到淮陰（今江蘇淮陰縣東南），這裏是韓信的故鄉及封地。他走訪了淮陰父老，了解到韓信等人的傳聞。據說韓信自幼便有遠大誌向，他母親死了，連埋的錢都沒有，卻選了個既高又寬的塋地，旁邊可以住一萬多戶人家。司馬遷便親自到韓信母親的墓地上去看了看，果然一點兒也不錯！司馬遷又渡淮水，沿泗水向北，到了魯國都城（今山東曲阜）。這裏是儒家的根據地，也是司馬遷此次大旅行盤桓的時候最長的地方。他懷著崇敬的心情參觀了孔子墓，看到孔廟中所收藏的孔子的衣、冠、琴、車、書等物件。對孔子的身世、學術等方麵進行了認真的調查，對孔子的崇高人格無限景仰和向往，以至於留戀徘徊而不忍離去，他說：“餘讀孔氏書，想見其為人。適魯，觀仲尼廟堂車服禮器，諸生以時習禮其家。餘祗回留之不能去雲。”在深深體味了魯地儒風之餘，又到齊國的都城（今山東淄博市）遊覽了一番。在鄒縣，他去了秦始皇刻石頌德的鄒嶧山，並在此處向當地人學習飲酒、射箭的禮節，即《自序》中所謂“鄉射鄒、嶧”。
司馬遷經過齊魯之遊以後，也像當年孔子厄於陳蔡一樣，困厄於鄱、薛、彭城。這都是山東南部和江蘇北部之地。薛在滕縣西南，是孟嚐君田文的封地，後來司馬遷在《孟嚐君列傳》中說：“吾嚐過薛，其俗閭裏率多暴桀子弟，與鄒魯殊；問其故，曰：‘孟嚐君招致天下任俠奸人入薛中，蓋六萬餘家矣！’世之傳孟嚐君好客自喜，名不虛矣。”彭城就是現在的徐州，豐（今江蘇豐縣）、沛（今江蘇沛縣）在其北，邳（今江蘇邳縣西南）在其中。這裏是秦末農民起義的中心，漢初的重要人物多半生長於此。如漢高祖劉邦是沛郡豐縣中陽裏人，蕭何是沛郡豐縣人，曹參、周勃、樊噲、夏侯嬰、周昌、周緤等都是沛郡人，盧綰與劉邦同裏。張良雖不是這一帶的人，但早年是在下邳亡匿，而遇見圯上老人的。項羽的籍貫是下相（今江蘇宿遷縣西）離沛、豐也很近。秦二世元年（公元前209年），陳勝、吳廣在沛郡蘄縣（今安徽宿縣）揭竿起義，各地人民紛紛響應。劉邦在沛被蕭何、曹參等人擁戴為當地起義軍領袖“沛公”。楚漢戰爭時，劉邦的56萬大軍為項羽的3萬精兵所敗，趕得漢兵有10萬餘人擠到雎水裏，雎水為之不流。這有名的古戰場即在彭城及其東南一帶。司馬遷來到這一具有豐富曆史遺跡的地區，雖然個人生活非常艱苦，但毫不影響他考察曆史的興趣。關於秦、漢之際許多重要人物微賤時的行跡，大都是此時采訪所得。他說：“吾適豐沛，問其遺老，觀故蕭、曹、樊噲、滕公之家，及其素，異哉所聞！方其鼓刀屠狗賣繒之時，豈自知附冀之尾，垂名漢廷，德流子孫哉？”（《樊酈滕灌列傳》）他所說的這些人，原來都出身於社會下層，在風雲際會中成為王侯將相。蕭何、曹參原為獄吏，後來官至相國；周勃原為給人治喪時的吹鼓手，也官至相國；樊噲本來是屠狗的，被封為舞陽侯；灌嬰是賣繒的，被封為穎陰侯；夏侯嬰是個車夫，也是劉邦少年時代的耍伴，封為滕公；周昌是個小吏，官為禦史大夫；盧綰與劉邦既是同裏，又是同日生，從小就十分友好”長大後，盧綰隨劉邦起義，後來被封為燕王。至於劉邦當年為泗水亭長時，對廷中吏無所不狎侮，好酒及色，經常喝得爛醉，又喜歡說大話。如果不實地訪求，是很難得到的。這些曆史的實際情況。