接連的失利對李廣刺激很大。特別是其堂弟李蔡，當年與他一道參軍，人品、才能皆不及他，如今已進爵安樂侯，位置三公了。過去的部將乃到土兵，許多人也都取得了封號。而自己血戰多年，官不過九卿，連爵位和封邑卻沒求得一個，長期的惆悵失落使李廣變得更加鬱鬱寡歡，沮喪萬分。
公元前119年，漢武帝劉徹決定派大將軍衛青、驃騎將軍霍去病各率5萬騎兵遠征漠北，以徹底解除匈奴對漢邊郡的侵擾。李廣知悉後強烈要求出征，天子以為老，弗許。良久，乃許之，以為衛青部前將軍。
出塞後，衛青從俘虜口中得知了匈奴首領伊雅斜單於的駐地，決定輕裝前進突襲。因來時他曾受過武帝私下告誡：“李廣老，數奇，毋令當單於，恐不得所欲”，加之私心作崇，想借此役捕獲單於立功而使天子恢複其好友公子敖的侯爵與封邑，遂調李廣到右翼與右將軍趙食其合兵一處，從側翼進擊策應。然而因右翼行軍路線盡是荒漠，大軍迷路而延誤了會戰，使單於得以突破漢軍重圍遠循。衛青雖率部追殺，也未擒獲，隻得悻悻而返。在回軍路上，衛青遇到遲遲趕來的右翼兵馬，遂派長史攜酒敬奉李廣並詢問迷路緣由，意圖拉攏李廣將走失單於的責任推給右將軍趙食其，遭到正直的李廣拒絕。衛青大為惱火，又派長史催逼李廣的幕僚速去中軍核對行軍文書，意在籠絡李廣的左右為李廣開脫，李廣仍不為所動，坦然對長史說：“校尉們無罪，迷失道路的責任在我而不在他們，我是一軍之主，到時自會到大將軍處稟複。”從而把責任統統攬到自己身上。
按照法律，誤期當斬。雖可贖為庶人，但耗資甚巨，而李廣一向清廉，家無餘蓄，難籌巨資贖罪‘加之命途多舛，失意至極，慮及花甲之齡還要接受刀毛吏的質詢，遭其侮膊，遂萌死意。天色將晚，李廣巡營已畢，望著這些同生共死的將士，戀戀不舍地走回軍帳，悲憤地仰天長歎：“我自幼從軍與匈奴大小七十餘戰，竟不能一當單於，這次可有了與單於交戰接手的機會，大將軍卻令我改變行軍路線，蒼天又讓我迷路。不當單於，天乎？人乎？！”說罷拔劍自刎，一代名將就這樣淒慘地含恨殞去。這正是壯誌未酬身先死，長使英雄淚滿襟。