不過，剛剛到達京城長安的司馬遷還不容易看到這裏隱伏的凶險。長安集中體現了那個時代正在迅速上升的社會財富、國家權力與文化藝術。司馬遷成為這一繁榮的見證。他在長安讀書將近十年，這期間很可能曾向當時正在首都的董仲舒、孔安國等大儒問學。在他後來的思想中，儒家影響的色彩很濃，不像他父親那樣崇尚黃老之學，也許就跟他與董仲舒等人的接觸有很大關係。他不但能在各種場合遇到第一流的學問家，而且或許還能因為父親的職務關係，間接地通過父親轉述，接觸到收藏在國家圖書館裏的各種書籍。那時離秦的禁書令被廢除已有幾十年，各種各樣的書籍正在被人們重新發掘出來。身處在全國文化中心，接觸這些書籍的條件，是與僻居在韓城龍門這樣的小地方所萬不能比擬的。
司馬遷十九歲那年，他的家庭遷居到距長安城西北八十裏的茂陵。漢代有一種製度，把天下豪強富猾遷到京城附近的諸帝陵區居住，好對他們進行就近監視。漢人把這個做法叫做“內實京師，外銷奸猾，此所謂不族(族指滅族)而害除”。到他十九歲時，武帝為自己預修陵寢已經十二年，墓在長安西北槐裏的茂鄉，所以叫“茂陵”。於是把各地的豪傑以及家產三百萬貫以上的人都遷往茂陵。司馬談一家也在這時搬遷到茂陵新居。
在茂陵新居，司馬遷親眼目睹了當時的一位大俠，叫郭解。此人年輕時曾做過很多壞事。與人交接，一不合意便動手殺人，私鑄偽錢幣，盜墓掘寶也是家常便飯。但他的運氣很好，犯了罪，不是僥幸逃脫，便是遇到大赦、免於追究。年長之後，隨著閱曆和勢力的增加，他的行為發生很大的改變。他開始樂善好施，幫助別人後總是不願張揚;待人接物往往以德報怨，為人謙恭;生活上也很節儉。但他仗義赴難、扶弱救急的俠義心腸卻沒有變。有一次，他姐姐的兒子仗勢欺人，聚眾酗酒時強行對一個狐朋狗友灌酒，結果在鬥毆中被對方殺了。郭解的姐姐拒不收屍，想以此脅迫弟弟出麵幹預。郭解派人暗訪到那個躲藏起來的凶手，當麵問明情況後說:“你殺他本沒有錯，是我的外甥理虧。”於是他放走那個人，把外甥埋葬了事。這件事傳開後，他比從前更加得人心了。
據說他的家產並沒有三百萬貫，但還是被列入遷徙的名單中。郭解動員了朝中大將軍衛青去替他說情。武帝說，郭解雖然是一介平民，居然能指使將軍替他說話，看來家裏不會沒有錢。結果仍被強製遷移。他到關中之後，當地豪傑，無論過去與他是否相識，都爭相和他結交。朝廷最終還是找了一個罪名把他殺掉了。