由於烏維自身的原因，再加上部分將領有存僥幸，匈奴人爭吵了兩天還沒有定下來撤退的時間和路線。直到李息率部繞道狼居胥山的消息傳來，烏維才下定決心吃掉李息，然後再撤回漠北，並趕在冬季來臨之前進入西域一帶，爭取在今年冬天在西域一帶休整，明年開春再繼續西遷。
雖然趙佳義和趙能幾乎全軍覆沒，可匈奴人依然有十四萬大軍，而且全是騎兵，戰馬的數量更多，超過二十五萬匹，足夠他們快速追趕李息大軍的。烏維讓自己的兒子左賢王烏師廬率軍三萬為右，自己的二弟右賢王句黎湖率軍三萬為左，且提候領軍三萬為先鋒，自己則率五軍大軍居中接應。他的意圖很明顯，就是要以泰山壓頂之勢，在漢軍沒有反應過來之前吃掉李息所部。
於是，漠南戰場上出現奇怪的一幕，雙方原來設想的長城大戰沒有打成，現在李息率軍兩萬向北，匈奴人的十四萬大軍緊跟其後，劉據率領漢軍騎軍主力十萬又跟在匈奴人的後麵，劉據的後麵，還有三萬步卒和十萬民夫組成的輜重部隊，真正留在長城一線防範的隻有蘇建、荀彘的五萬步卒和兩萬各騎兵營的留守人員。
決定匈奴人生死存亡的決戰終於拉開了序幕。
當匈奴人出發的時候，李息已經帶人走了五天，劉據則剛剛帶人離開五原大營，三支部隊拚的都是時間，尤其是劉據，當他們到達匈奴人原來的營地時，發現了一天前生火的痕跡，也就是說他們離開也隻有一天。於是他命令部下加快行軍速度，他知道匈奴人已經尾隨李息北上，李息隨時有全軍覆沒的危險。
烏維認為自己的部隊戰馬充足，足夠他們在漢軍離開狼居胥山之前包圍他們，但他不知道漢軍已開始給戰馬釘了馬掌，李息的部隊利用追擊羌人的機會給所有的戰馬釘了馬掌。而劉據帶去的三個騎兵營也基本都給戰馬安了馬掌，加上這些騎兵營多餘的馬匹，他也有能力和匈奴人來一場拚速度和耐力的比賽。
李息的部隊先出發了五天，可因為要繞道，他並沒能把匈奴人甩得太遠。烏維在出發後的第三天就發現了李息部隊的蹤跡，於是催促部隊加速追趕，可一連追了四天也沒追上，李息也發現了匈奴人追了上來，本來他以為那是匈奴人的一支偏師，可後來發現是匈奴的主力，他自己也緊張了起來。
李息把手下幾個主要將領都找了來，商討了一下當前的情況。
李息直截了當地告訴手下眾將：“匈奴人追來了，可是不是我預想的那樣，他們人數超過十萬，很明顯是衝著我們來的。”
幾個人已經知道了問題的嚴重性，所以沒有一個人說話，繼續說著李息往下說：“明天我們就要渡過餘吾水，後天一早就能到達姑衍山。”餘吾水發源於狼居胥山，安侯河的支流，一直注入北海。姑衍山在狼居胥山西側，曾是匈奴王庭，霍去病曾在狼居胥山祭天，在姑衍山祭地。
“將軍，我們下麵怎麼辦？”有人問李息，現在他們深入大漠近兩千裏，所有的人都把李息當作自己的主心骨。
李息默默的掃視了一下所有的人，然後從嘴裏擠出兩個字：“拚了！”