征和二年，也就是公元前91年之後，司馬遷再也沒有出現在曆史記載裏。在此之後的第四年年初，漢武帝病死，那年他剛好七十歲。臨死前，“望氣者”(通過察看天象及山川來預言大事的巫師)聲稱長安的監獄裏有“天子氣”(意即獄中有人將代武帝而君臨天下)。結果關押在京師各監獄中的囚犯不論所犯輕重，一律被處死。但這一招還是沒能幫助武帝逃過一死。漢武帝與司馬遷這對內心已嚴重對立的君臣，究竟誰活得更長一點，從而得以親眼目睹另一方的死亡?現在沒有確切的憑據可以直接回答這個問題。關心司馬遷命運的人們，曾經對此作過各種各樣的猜測。
我們早就說過，司馬遷受宮刑之後一直擔任“中書令”的官職。現有的資料似乎可以表明，武帝最後一年在中書令位置上的，是一個叫郭穰的人。這就是說，司馬遷當時已經離開了中書令的職位。那時他還未到六十歲，不像是告老離去，所以很可能是在此前死於任上，因而導致中書令的職務必須另易他人。著名的大學者王國維傾向於這個說法。他寫道:“要之，史公卒年雖未可遽知，然視為與武帝相始終，當無大誤也。”總之，司馬遷大概死得比武帝略微早一點。
如果司馬遷真的死在武帝稍前一點，我們就會碰到一個更加費人猜疑的問題:這個“稍前一點”，究竟純屬偶然，還是與武帝有什麼關係?曆史上很多“稍前一點”的事例，都很讓人覺得帶點疑案的性質。如光緒死在慈禧“稍前一點”便是最著名的例子。漢景帝在本人死去的“稍前一點”逼死名將周亞夫(說詳下)，也屬於這種情況。所以現在的問題是，司馬遷真是被垂暮的武帝害死的嗎?
關於這一點，兩漢之際就曾有人說，司馬遷“作《景帝本紀》，極言其短及武帝之過。帝怒而削去之。後坐舉李陵。陵降匈奴，下遷蠶室。有怨言，下獄死”。這段話所包含的消息，至少不完全都是準確的。司馬遷並沒有因為“舉李陵”而獲罪。他被“下蠶室”，是由於他力圖要替已經戰敗投敵的李陵說話，那時候根本就談不上舉薦不舉薦的問題。可見說這段話的人，對發生在八九十年前的那件事隻剩下一個很含糊朦朧的印象了。不過也不能因此斷定，他所說的就全然不可信。消息說司馬遷“有怨言，下獄死”，倒是很有可能的!對此，我們至少可以舉出一條很有力的旁證來。
東漢前期的班固，在《史記》有關西漢記事(終止於武帝後期)的基礎上，補寫昭、宣、元、成、哀、平六帝時期的史事，作成一部完整的西漢斷代史，叫《漢書》。《漢書》有《司馬遷傳》，但對他死於何時、如何死去這件事卻一個字也沒有提起。根據《漢書》為人列傳的一般體例，凡善終之人，班固大都會在傳記的末尾交代該人死於何年，終年時有多少歲。《漢書·司馬遷傳》對這一點未加交代，不能看作是班固的偶然疏忽。他避免談及司馬遷去世的消息，很像是在為尊者諱，即故意向後人隱瞞司馬遷最終被武帝處死這個事實。這裏所謂“為尊者諱”，其實不一定完全是在捍衛司馬遷的名譽，而更可能是為漢武帝著想。班固稱讚“孝武之世，文章為盛”(文化燦爛)。一個卓越絕倫的大曆史學家，怎麼可以被這麼一個追求“文章為盛”的皇帝處死?這樣的事，對後代如何交代得過去?班固決定保持沉默，實在是深有用心的。