況且，此次李陵隻率領不足五千的步兵深入胡地，前鋒已攻入單於的王庭，這就如在虎口邊設下誘餌，勇猛地向強大的胡軍挑戰，與占據有利地形和數倍於自己的敵軍展開激烈的戰鬥，不屈不撓。連續奮戰十幾天，殲敵人數大大超過自己軍隊的傷亡數。胡人的首領都為之十分震驚，他們征調了左賢王、右賢王所部，幾乎出動了所有能拉弓射箭的人，傾巢而出對付李陵的進攻。李陵率部轉戰千裏，箭矢已盡，無路可走，而救兵又遲遲不至，死傷的士卒堆積如山。盡管如此，隻要李陵一聲號令，疲憊不堪的士卒又會振作精神舉起空的弓弩，奮不顧身地與敵人展開搏鬥，直到最後一息。
李陵未遭覆沒之時，有使者前來報告戰況，朝廷上下的王侯公卿們無不向主上舉杯祝賀。時間僅僅過了幾天，李陵兵敗的消息傳來，主上為此不思茶飯，無心上朝廷理政，大臣們大多擔憂害怕，不知所措。看到主上如此悲痛傷心，我雖地位卑賤，但還是不自量力，想獻出自己之愚見。我以為李陵對部下能做到與之同甘共苦獲得部下的信任，拚死出力，如此品格，即使古代的名將亦屬少見。李陵如今雖已兵敗被俘，但從他平時的所作所為可以料想，他是在尋找適當的機會主動歸漢。事到如今已無可奈何，但他打擊敵人的大智大勇和立下的戰功，已足以彰明於天下。早想將這些想法向主上陳述，隻是沒有機會，適逢這次主上親自召見詢問，我借此說李陵的功績，想以此寬慰主上之心，堵塞那些對李陵過分怨恨的言辭。”
李陵兵敗降敵是不足取的。司馬遷以李陵平時的為人和功績替他開脫、辯護，其理由很難站得住腳。然而，司馬遷在漢武帝麵前直陳己見，其主要用意也許並非要替李陵辯降，而是站在曆史家的立場上，表明自己對此事的看法，以求得出符合實際的結論。他一方麵寬慰漢武帝的心，另一方麵希望他能公正對待將士的功過成敗。
然而，司馬遷的這番言論，卻引出了曆史性悲劇後果。被安了個誣罔“主上”的罪名，定了死罪。按照漢代的法律，凡被判處死罪的人犯，若要求生，有兩條途徑可走。一是用錢贖罪，大約需交50萬錢，當時通行的是五銖錢，50萬個五銖錢，約合黃金五斤；另一條是甘受宮刑。司馬遷平時的俸祿並不豐厚，家境也很平常，父親一生做了幾十年的太史令，沒有給他留下多少家產，根本沒有能力償付這筆巨額的贖罪金。
作為士大夫的司馬遷，理所當然地非常重視作人的尊嚴，看重自己的人格和名節。於是他想到自殺，想到了慷慨赴死。然而，在這個世界上隻有一件事使他欲罷不能，這就是正在寫作中的《史記》，這是他們父子幾代人的理想和心血，他自己也已為之付出了多年的辛勤勞動，怎能忍心讓它半途而廢呢！
在麵臨著生與死的抉擇關頭，司馬遷不禁徹夜難眠，思緒萬千。他想，自己的先人並沒有立過赫赫的功勳，自己也不過是一個為流俗所鄙薄的太史令，如果就此死去，是決不能和曆史上那些“死節”的人相比的，那不過“若九牛之一毛，與螻蟻何異”。對於那些想將自己置於死地的人來說是無所痛惜的；對不明真相的人來說，也許還會產生誤會，以為是“智窮罪極，不能自免”才自尋短見的。人雖不免一死，但“死有重於泰山，或輕於鴻毛”，死的代價有大有小，如果這樣平白無故地死去，是很不值得的。
天漢三年（公元前98年），48歲的司馬遷，作出了出人意料的選擇，他擯棄自殺和赴死的念頭，決計忍辱偷生，接受那最為慘無人道的宮刑。他“就極刑而無慍色”。
宮刑不僅摧殘了司馬遷的健康，也給他的精神帶來了為常人難以忍受的痛苦。然而，這都沒有能夠摧毀司馬遷的意誌，正是這人生的悲劇，使他對曆史，對人生，對漢王朝的吏治和刑法，對封建專製有了新的認識。他很快從極度的悲憤中解脫出來，將個人的生死、榮辱置之度外，默默地將自己全部的心血，傾注到正在撰寫的《史記》之中。
受刑後的司馬遷仍然被關押在獄中。在這種非人境況中，他沒有一天停止過思考，幾乎天天與《史記》結伴，或在腦中醞釀，或不停地記下一些考慮成熟的片斷。大約在太始元年（公元前96年），他才獲釋出獄。
司馬遷出獄後，也許是漢武帝良心發現，覺得對他的處罰確實過重，或是出於其他方麵的考慮，他很快被任命為中書令。中書令是貼近皇帝身邊的重要官員，相當於皇帝的秘書，表麵上看，其地位要高於太史令。他的經常性工作是將皇帝的命令下達到尚書，並將尚書的奏事轉呈給皇帝，地位頗為顯要。他以帶罪之身，得以充任這樣的職務，因而被一些人視為“尊寵任職”。連他多年的好友任安也有這種看法。