司馬遷受腐刑以後，感到在人格上受到了沉重打擊，內心十分痛苦。他幾次想要自殺，但一想自己所寫的曆史書尚未完成，愧對父親生前的囑咐，就又不願意死了。他經過再三權衡，在生與死的抉擇中悟出了一條道理，認為“人固有一死，死或重於泰山，或輕於鴻毛”。如果因為自己受到了侮辱而自殺，那就輕於鴻毛，而如果完成了記載聖君賢臣、義士良將事跡的史書以後再死，那既對得起父親的囑咐，也對得起自己生活的時代，就是另一回事。他決定含話忍辱地活下去，把父親已經開了頭的曆史書寫完。從此，他利用已經搜集到的資料，夜以繼日地加倍用功寫作。
司馬遷給自己編寫史書定下了一個寫作目的，也可以說是指導他自己寫史書的理論指導，那就是“究天人之際，通古今之變，成一家之言”。意思就是說，他要寫一部有他自己的獨立見解，能合理地解釋天人關係和古今曆史演變規律的曆史書。這是他為之獻身的崇高事業，不達目的，決不罷休，也決不輕生。
經過多年的艱苦努力，在53歲那年，司馬遷終於寫成了我國第一部不朽的曆史巨著《史記》。這是一部在體例上具有獨創精神的通史著作。全書130篇，52萬多字，分為本紀、表、書、世家、列傳等五個部分。本紀12篇，記載帝王的事跡，從傳說中的五帝一直寫到漢武帝。表10篇，從夏商周三代寫到漢興以來的將相名臣，實際上是用列表的形式記載大事和重要人物，用以補充本紀。書8篇，從禮製寫到工商業，也就是記載重要的典章製度、天文地理、社會經濟生活。世家30篇，記載諸侯王和孔子、陳勝等特殊重要人物的事跡。列傳70篇，記載重要人物、少數民族和鄰國的曆史。其中最重要的是本紀和列傳，所以叫做紀傳體。這種紀傳體的史書體例在以前還沒有過，因為它能麵麵俱到，所以後來有許多史書都仿照著這種體例來寫，習慣上把這種體例的史書稱之為正史，通常說的中國的二十四史，就都是用紀傳體寫的，所以都稱為正史。
司馬遷寫的《史記》不光體例上有所創新，並且內容翔實可靠，文字生動優美，它既是一部信史，也是一部文學著作。更了不起的地方是司馬遷表現在《史記》中的思想是很進步的。他愛憎分明，對曆史上的聖君賢臣、武士良將和農民起義領袖，大力褒揚歌頌，對暴君奸臣及種種不講信義的人,進行無情諷刺。對遠古的曆史，既忠實於自己所見到的資料，如實地記載；對當代的曆史，好事不誇大，壞事不隱瞞，也能如實地記載，就是對當朝皇帝的缺點和過失，也能給予恰如其分的敘述。他希望通過對曆史上經驗教訓的記載，能使人們預見到未來的前途，從而鼓起勇氣去開創新的局麵。
像司馬遷這樣有理論、有計劃、有目的地編寫曆史書，在他以前還沒有過，他算得上是第一個這樣做的曆史學家，因此他實在無愧於“中國史學之父”的光榮稱號。