司馬遷的祖司馬昌和三世祖司馬無澤。司馬昌曾經在秦始皇時代當過主鐵官，這是治粟內史以下的管礦的官司馬遷的四世祖。在漢代做過管理長安集市的市長（漢初長安有九市，漢市是其一）。司馬遷的祖父司馬喜，曾得“五大夫”（二十級軍功爵中的第九級）的爵位，意義是“大夫之尊”。
父親司馬談司馬遷的父親司馬談大致生活在由文、景到武帝的過渡時期，因此他所承受的主要是文、景時代的思想。即黃老思想。司馬談於武帝建元年間（公元前140年~前135年）為太史令。司馬談是一位善於學習並且學問非常淵博的人。
司馬談不僅對先秦諸子素有研究，有他自己明確的政治見解和深刻的哲學思想。他寫過一篇不朽的論文——《論六家要旨》。在這篇我國古代思想史上占有重要地位的學術論文中，他創造性地把戰國以來的學術思想歸納為陰陽、儒、墨、名、法、道德六家，並以概括手法和簡略的文字，入木三分地分析了六家的優劣長短，充分顯示出他那兼容並包的博大胸懷和文采橫溢的才華。
司馬遷《自序》說：“太史公仕於建元元封間。”從建元元年（公元前140年）到元封末年（公元前105年）共35年，司馬談大約做了30年左右的太史令。司馬遷撰寫《史記》，包容百科知識，“厥協六經異傳，整齊百家雜語”，得益於司馬談治學兼容並包的方略是不言而喻的。更為明顯的是，《史記》中的許多評論常常流露出對黃老思想的推崇，就是受了司馬談影響的結果。為了繼《春秋》以後編纂一部新的曆史，司馬談做了大量的準備工作，他搜集材料，擬定體例，還草成了一些篇章。司馬遷在對上大夫壺遂的一次談話中，就明確表示過，他的事業應該有大部分歸功於他的父親。家學與父教，成了司馬遷得天獨厚的客觀條件，使他成為一個博學多才的曆史學家。
司馬遷，字子長，生於何年。主要是兩種意見分歧，一種認為他生於景帝中元五年（公元前145年），另一種則認為他生於武帝建元六年（公元前135年）。兩種意見產生於司馬貞和張守節對《自序》一段話的不同注釋。
卒三歲而遷為太史令，史記石室金匱之書。五年而當太初元年，十一月甲子朔旦冬至，天曆始改，建於明堂，諸神受紀。
司馬貞《索隱》於“遷為太史令”下引《博物誌》雲：“太史令茂陵顯武裏大夫司馬遷，年二十八，三年六月乙卯除。六百石。”據司馬貞的意見，司馬談死3年，司馬遷28歲。那麼司馬談死於元封元年（公元前110年）。“卒三歲”是元封三年（公元前108年），上推28年，司馬遷當生於武帝建元六年（公元前135年）。張守節《正義》於“五年而當太初元年”下說：“案：遷年四十二歲。”據張守節的意見，太初元年（公元前104年），司馬遷42歲，那麼從此上推42年，司馬遷當生於景帝中元五年（公元前145年）。兩種意見相差10年。王國維《太史公行年考》和《梁啟超要籍解題及其讀法》都主中元五年說。王國維認為《索隱》之“年二十八”的“二”當是“三”之訛。此後人們都沿襲他的這個說法。李長之先生提出異議，認為司馬遷應當生於建元六年（見《司馬遷的人格與風格·司馬遷生年為建元六年辨》）。實際上，日本學者桑原騭藏早在1928年就提出了司馬遷生於“建元六年”說。由此可見，“建元六年”說法可以為證。
司馬遷的生地龍門，漢時屬夏陽縣。據《尚書·禹貢》載：“異河積石，至於龍門。”《孔傳》：“龍門山在河東之西界。”即今山西河津縣和陝西韓城縣之間，跨黃河兩岸。《金履祥尚書注》：“河南至河中府龍門縣之西，山開岸闊，自高而下，奔放傾瀉，聲如萬雷，是為龍門。”傳說大禹治水，開鑿此山以疏導黃河。山上有“相工坪”，是禹監工的地方。司馬遷就出生在龍門山南70裏韓城縣芝川鎮。他的六世祖司馬靳所葬之華池，四世祖司馬昌、曾祖司馬無澤、祖父司馬喜所葬之高門，都在芝川鎮。他自己的墓和祠也在這裏。是司馬遷六世祖以來，世世代代生長、居住的地方。
司馬遷少年時代，主要從事耕牧與學習兩項活動。通過耕作和放牧的勞動鍛煉，據司馬遷自己說：“年十歲，則誦古文。”司馬遷10歲時所“誦古文”，除了跟孔安國學古文《尚書》以外，同時也跟人學過《左傳》、《國語》、《係本》等書。
司馬遷少年時代所打下的深厚的古文基礎，對後來寫《史記》的影響很大。這不僅見於《漢書·儒林傳》中所說：“遷書載《堯典》、《禹貢》、《洪範》、《微子》、《金滕》諸篇，多古文說。”《史記》其他篇章也保存有古文影響的痕跡：司馬遷跟孔安國學習古文《尚書》，還從儒學大師董仲舒學習過《公羊春秋》，即今文《春秋》學說。
在司馬遷10歲以後，不知什麼原因，其家庭遷到了茂陵顯武裏。茂陵是漢武帝為自己所修的陵園，地處武帝之母的原籍槐裏縣茂鄉。所以這裏又成了司馬遷的又一籍貫。據《漢書·董仲舒傳》說，董仲舒晚年也移家茂陵，正好與司馬談的家庭同居一地。這時的司馬遷大約十六七歲，正是受學的理想年齡。董仲舒的《春秋》學說，對司馬遷的影響更深，以至於成為他寫作《史記》的思想動力。他在《自序》中說：