司馬談學識淵博，曾經拜當時的名師黃子、楊何學習天文曆法和古代典籍，著有《論六家要旨》一書。
司馬談以自己祖輩以來均為朝廷的史官而自豪，所以他不僅自身勤奮好學，虛心供職，還把希望寄托在兒子小司馬遷身上，所以言傳身教，希望他有朝一日能夠繼承祖業。
當小司馬遷到了10歲時，司馬談就把他從山西韓城老家接到了身邊。司馬談問及老家情況和小司馬遷的學習時，小司馬遷滔滔不絕地說道：“現在家鄉很苦，天災人禍鬧得人人都難以填飽肚子，我天天幫家裏幹活，有時也吃不飽呢，官府的苛捐雜稅太多，去年……”
聰明的小司馬遷忽然感覺到和父親剛剛見麵，就說這些令人不快的事未免以他不再說下去了，尷尬地看著父親。司馬談拍拍兒子的肩膀說：“是啊，現在是有令難行，有禁難止。”
司馬遷非常羨慕父親的學識。司馬談對兒子說：“獲取知識不僅要讀萬卷書，還要行萬裏路。”因此，司馬遷從20歲開始漫遊全國。他的足跡遍及聖賢孔子的家鄉曲阜，愛國詩人屈原自沉的汨羅江畔，孟嚐君曾聚三千食客的薛城……每到一處，他都仔細記錄當地的風土人情，人文故事。
但是，父親的病逝停止了司馬遷遊學的腳步。這一年，漢武帝舉行大規模的巡行，首先要從都城長安到山東封禪泰山。步騎18萬，旌旗千餘裏，遮天蔽日，浩浩蕩蕩，向山東進發。司馬談作為漢武帝的史官，當然要隨行記錄下這場聲勢浩大、名垂千古的盛事，他欣喜地加入了封禪的隊伍。
天有不測風雲，人有旦夕禍福。當封禪的君臣百官行至洛陽時，司馬談卻一病不起。漢武帝允許他留在洛陽養病，可是，病痛使司馬談的身體每況愈下。所幸的是，兒子司馬遷來到了他的身邊，使司馬談得到了很大的寬慰。司馬談自知來日無多，不顧病痛的折磨，經常與兒子徹夜長談，作為父親，司馬談願意把畢生的學識和經驗都傳授給兒子。最後，司馬談囑托道：“咱們家族在曆朝曆代都是國家的史官，但自從周朝末年，孔子著《春秋》以來這400年間，天下大亂，諸侯混戰，缺乏對這段曆史的整理和記述。如今國家統一了，盛世修史，我想整理上古至今的曆史，可惜還沒做多少工作，就力不從心了。”
司馬遷安慰父親說：“父親，您不要著急，等您康複了，再做這些事情也不晚呀。”
司馬談淡定地說：“你不要安慰我了，我已行將就木！在我死後，皇帝很可能任命你為太史，你要繼續我沒有完成的事業，要擔當起忠實記述國家興亡的責任啊！”
司馬遷百感交集，聲淚俱下地對父親發誓說：“您放心！有您這些年來對我的教誨，我一定完成您編著史書的願望。”司馬遷不負對父親的誓言，曆經苦難，最終完成了記載三皇五帝到漢武帝時期曆史的我國首部紀傳體通史《史記》。
《史記》後來被魯迅讚譽為“史家之絕唱，無韻之離騷”。