李陵身為將門之後，自然不屑跟在皇帝的這個平庸無能的大舅子後麵走。他向漢武帝要求自為一軍，單獨行動，以分散、牽製匈奴的兵力。漢武帝大概也察覺到了李陵對李廣利的輕視，說:“你不願意受李廣利的節製嗎?我派出的軍隊已經太多，再也沒有騎兵可以派給你了!”不料李陵豪邁地回答:“不用騎兵，臣願率五千步卒直搗單於王庭!”武帝被李陵的壯勇打動，於是答應了他的請求。武帝曾指派另一名將軍路博德掩護李陵。路博德也不甘心做李陵的後援，七推八阻，他後來竟被另外調遣。這樣，李陵的五千步兵就成了一支深蹈不測之地的孤軍!
李陵麵對的，是由匈奴的最高統治者單於親自率領的三萬騎兵。單於在兵力上占據了絕對優勢，便下令對李陵的軍隊發動進攻。不料這五千漢軍異常勇猛，非但打退了匈奴騎兵的衝鋒，還乘勝追擊，殺敵數千人。單於這才知道遇到勁敵了!他連忙調集八萬騎兵圍攻李陵。李陵且戰且走，向漢朝邊塞撤退。匈奴也緊追不舍，戰鬥最激烈時一天交戰數十回。單於越追越沒有信心:八萬騎兵打五千步兵，非但拿不下，還搞得自己傷亡慘重;更可疑的是這支小部隊似乎是在把自己往南麵引，難道漢軍在邊塞附近設了埋伏?他是否正在往人家的口袋裏鑽?單於猶豫起來，打算停止對漢軍的追擊。
但是就在這個節骨眼上，李陵的軍中出了一個叛將。大概實在沒有再苦戰下去的勇氣，他投奔到匈奴一邊。這一來，單於就完全掌握了李陵的底牌:他既沒有後援，而且箭也快用完了。匈奴軍隊現在毫無後顧之憂，死死咬住李陵不放。漢軍的箭全部用盡，斬斷車輪的輻條作為武器，連軍中的文員都手持短刀上陣搏殺。最後一場鏖戰後的夜晚，李陵試圖突圍失敗，部隊被完全打散。隻有三四百人陸續逃回到漢朝邊塞。李陵覺得當初豪言壯語，而今天卻兵敗如山倒，已沒臉回去見漢武帝，便投降了匈奴。
李陵之降，不但給他本人和他的家庭造成巨大的悲劇，他的案子還把當時正在宮廷裏擔任“太史令”官職的司馬遷也一起牽連了進去。
李陵兵敗前，曾派遣校尉陳步樂向武帝彙報情況。陳步樂說，李陵深得士卒之心，這支遠征軍士氣高昂。那時武帝非常高興，公卿王侯都爭先恐後地讚揚武帝有知人之明，朝中一片歌功頌德之聲。漢軍覆亡的消息傳來，他們立即變了一副麵孔，紛紛指責李陵。漢武帝為向遠方的李陵施加壓力，把他的老母親和妻子抓到首都看管起來，促使李陵以死報國。但是不久便獲得進一步的消息，說李陵已經投降。他非常失望，變得鬱悶寡言，食不知味。群臣見皇帝如此，更加惶恐憂懼，不知所措。