匈奴貴族不甘心在河南地的失敗，一心想把朔方重新奪回去，所以在幾年內多次出兵，但都被漢軍擋了回去。公元前124年春，漢武帝命衛青率三萬騎兵從高闕出發；蘇建、李沮、公孫賀、李蔡都受衛青的節製，率兵從朔方出發；李息、張次公率兵由右北平出發。這次總兵力有十幾萬人。匈奴右賢王認為漢軍離得很遠，一時不可能來到，就放鬆了警惕。衛青率大軍急行軍六、七百裏，趁著黑夜包圍了右賢王的營帳。這時，右賢王正在帳中擁著美妾，暢飲美酒，已有八九分醉意了。忽聽帳外殺聲震天，火光遍野，右賢王驚慌失措，忙把美妾抱上馬，帶了幾百壯騎，突出重圍，向北逃去。漢軍輕騎校尉郭成等領兵追趕數百裏沒有追上，卻俘虜了右賢王的小王十餘人，男女一萬五千餘人，牲畜有幾百萬頭。漢軍大獲全勝，高奏凱歌，收兵回朝。
漢武帝接到戰報，喜出望外，派特使捧著印信，到軍中拜衛青為大將軍，加封食邑8700戶，所有將領歸他指揮。衛青的三個兒子都還在繈褓之中，也被漢武帝封為列侯。衛青非常謙虛，堅決推辭說：“微臣有幸待罪軍中，仰仗陛下的神靈，使得我軍獲得勝利，這全是將士們拚死奮戰的功勞。陛下已加封了我的食邑，我的兒子年紀尚幼，毫無功勞，陛下卻分割土地，封他們為侯。這樣是不能鼓勵將士奮力作戰的。他們三人怎敢接受封賞。”漢武帝隨後又封賞了隨從衛青作戰的公孫敖、韓說、公孫賀、李蔡、李朔、趙不虞、公孫戎奴、李沮、李息、豆如意等。
經過幾次打擊，匈奴依然猖獗。入代地，攻雁門，劫掠定襄（今內蒙古和林格爾）、上郡（今陝西綏德縣東南）。公元前123年二月，漢武帝又命衛青攻打匈奴。公孫敖為中將軍，公孫賀為左將軍，趙信為前將軍，蘇建為右將軍，李廣為後將軍，李沮為強弩將軍，分領六路大軍，統歸大將軍衛青指揮，浩浩蕩蕩，從定襄出發，北進數百裏，殲滅匈奴軍數千名。這次戰役中，衛青的外甥霍去病率800精騎首次參戰，取得了殲敵兩千餘人的輝煌戰果。戰後全軍返回定襄休整，一個月後再次出塞，斬獲匈奴軍一萬多名。但是，右將軍蘇建和前將軍趙信與匈奴打了一場遭遇戰，漢軍死傷慘重，蘇建突圍逃回，趙信本是匈奴降將，兵敗後就又投降了匈奴。
在討論如何處置蘇建棄軍而逃的罪過時，有人建議將他斬首以建立大將軍的威嚴，有人認為蘇建是盡力而戰的，不應斬首。衛青認為自己身為皇親國戚，沒有必要再建立威嚴；自己本有權力可以處決部將，卻不敢擅殺。他要做一個人臣不敢專權的榜樣，於是把蘇建用囚車送回長安由皇帝處理。漢武帝赦免了蘇建的死罪，令其交納了贖金後貶為平民。
公元前121年，西漢對匈奴的第二次大戰役開始，由霍去病指揮，結果使漢朝完全控製了河西地區，切斷了匈奴與羌人的聯係。
為了徹底擊潰匈奴主力，漢武帝集中全國的財力、物力，準備發動對匈奴的第三次大戰役。公元前119年春，漢武帝召集諸將開會，商討進軍方略。他說：“匈奴單於采納趙信的建議，遠走沙漠以北，認為我們漢軍不能穿過沙漠，即使穿過，也不敢多作停留。這次我們要發起強大的攻勢，達到我們的目的。”於是挑選了十萬匹精壯的戰馬，由大將軍衛青、驃騎將軍霍去病各率精銳騎兵五萬人，分作東西兩路，遠征漠北。為解決糧草供應問題，漢武帝又動員了私人馬匹四萬多，步兵十餘萬人負責運輸糧草輜重，緊跟在大軍之後。
原計劃遠征大軍從定襄北上，由霍去病率驍勇善戰的將士專力對付匈奴單於。後來從俘獲的匈奴兵口中得知匈奴伊稚斜單於遠在東方，於是漢軍重新調整戰鬥序列。漢武帝命霍去病從東方的代郡出塞，衛青從定襄出塞。
大將軍衛青麾下，強將濟濟。李廣為前將軍，公孫賀為左將軍，趙食其為右將軍，曹襄為後將軍。衛青考慮到前將軍李廣年紀已高、運氣又不好，就沒讓他擔任先鋒，而是與右將軍趙食其兩軍合並，從右翼進行包抄。衛青自己率左將軍公孫賀、後將軍曹襄從正麵進兵，直插匈奴單於駐地。