按秦漢時代的風氣，經常是“山東出相、山西出將”。這裏的“山”指華山。司馬遷是一個大文人，卻出在當時的“山西”。可見特立獨行的人，也可以不為風俗所限。
司馬遷出生在今陝西韓城，地在黃河之西。黃河在這一段由北向南流注，把橫跨陝西、山西的龍門山一劈兩半。黃河水位在這裏有很大的落差，河水形成“龍門三跌”的壯觀，然後南流而去。“鯉魚跳龍門”的故事，最早就應該產生在這裏。相傳每年三月冰雪融化時，幾千條鯉魚逆流而上，聚集在這裏，為的是躍上台階狀的河床。跳上龍門的，便成龍升天。司馬遷就是這樣一條在艱苦絕倫的逆境中躍上龍門的鯉魚。他憑他那部不朽的著作《史記》，登上了中國曆史編纂學的一座巨峰。說他是“談古論今第一人”，沒有人會覺得過分的。
他自己說，“遷生龍門”，小時候“耕牧於河、山之陽”。古時候以河之北或者山之南為陽。他的家鄉在黃河之北(其實是西)、龍門山之南，所以說是“河、山之陽”。關於他這一段幼年的“耕牧”生活，我們知道得不多。他自己接著上麵一句說到的，已是“十歲則誦古文”。所謂“古文”，是指的秦統一之前就流傳下來的《國語》、《左傳》等書;因為它們不是用秦朝統一後所通行的隸書體書寫的，所以叫“古文”。
司馬遷學習古文，他的老師大概就應當是他自己的父親司馬談。在他十歲前後，他父親已被漢武帝召到長安去，擔任的官職叫“太史丞”，後來又做了“太史令”。太史丞、太史令的職務，主要是觀察天象變化、製定曆日、為朝廷大事預測凶吉。當時人普遍認為，天文現象與人世間的重大事件之間具有一種很神秘、很緊密的呼應關係，因此，連帶觀察和記錄人間社會的重大事件，或許也就屬於太史令的職責範圍。應該是在十歲上下，司馬遷結束他所謂的“耕牧”生活，遷居到了西漢首都長安，去跟在朝廷裏做太史丞的父親一起生活。由於職務的關係，司馬談對古今曆史向來十分留意。在對自己的兒子進行啟蒙教育時，他把這種興趣也深深地移植在少年司馬遷的思想裏。
是的，韓城對這個十歲上下的少年來說，已經顯得太小了一點。幸虧他有機會居住到京都長安。這應該說是他的幸運:在西漢王朝正處於迅速邁向全盛時代的當口，他正好走進了“天下”的中心。
春秋末葉以後，華北陷入“七國爭雄”的戰爭狀態長達兩三百年。那時候，戰爭的持續時間之長、戰爭動員涉及範圍之廣、戰爭殘酷程度之劇烈，都是空前的。所以後來人使用“戰國”兩個字來概括那個時代。這個時代好不容易由秦的統一而結束。但緊接著又發生秦始皇的暴政，秦末農民起義，以及由秦末農民起義演變而來的楚漢戰爭，一打又是近十年。秦首都鹹陽被項羽燒成一片灰燼。華北是滿目瘡痍，南部中國本來還沒有獲得開發。西漢初年，政府窮到連天子都找不到四匹同樣顏色的馬來拉車，將相大臣則隻好坐牛車代步。