霍去病所率部下一萬騎神出鬼沒，六日之中轉戰匈奴五個部落，都是突然出現，打完就走，既不停留，也不劫掠。渾邪王和休屠王布重兵在正麵嚴正以待，霍去病卻沿著焉支山悄悄急行軍，意圖在皋蘭山下打匈奴盧侯王、折蘭王一個措手不及。但這次霍去病不太幸運，也許是走漏消息的緣故，盧侯、折蘭二王竟然在皋蘭山下以逸待勞等著他。這是霍去病進入河西以來最艱難的一仗，盧侯、折蘭二王擺明了是要和他進行決戰。對於這場硬碰硬的戰爭，霍去病還是很沉著的，戰爭中什麼情形都可能出現，這個道理他以前就明白，而且出發前也早有準備。
霍去病的嘴角依舊掛著如同往日那般的冷酷笑容，匈奴未滅，何以為家，一聲令下，便一馬當先，如狼似虎地衝了過去。
這一戰是非常慘烈的，霍去病雖然勝了，但一萬部眾隻剩下不到三千。
經此一役，霍去病真正認識了自己的能力，而匈奴人，也以八千多的傷亡代價領教了霍去病的悍勇。
皋蘭山之戰後過了幾個月，同年夏天，劉徹又派霍去病領兵數萬出征河西。此次漢軍兵分四路向兩個方向進攻，其中霍去病從北地出發，主打河西渾邪王與休屠王部，公孫敖從隴西出發配合霍去病作戰，而張騫和李廣率萬餘騎兵出右北平，牽製左賢王部。
霍去病和公孫敖的西路軍從北地和隴西出發，原本打算在塞外合兵一處合擊河西匈奴主力，但這時候卻有一件不大不小的事情發生了，這件事情，就是公孫敖迷了路。公孫敖迷路後，霍去病在預定地點等來等去等了半天不見公孫敖所部蹤影，最後沒辦法，隻好獨自率軍繼續向西行進。由於第一次河西之戰時霍去病長驅直入，沒怎麼躲避匈奴人的兵鋒，結果在皋蘭山下硬碰硬打了一仗，雖然勝了，但損失也相當慘痛。為了避免不利於己的情況發生，這次霍去病變得謹慎起來，沒有長驅直入，而是采取迂回包抄的方式，渡過黃河後向北越過賀蘭山，繞過居延海，然後沿弱水向南，經小月氏回兵東南。這一次霍去病大搞迂回曲折路線，深入河西腹地兩千餘裏後，在弱水上遊地區突然發起攻擊，攻打渾邪王和休屠王的後側翼。
偷襲雖然不怎麼正大光明，但效果卻十分顯著，而且對於戰爭來說，能夠最大數量地殲敵並最大程度地保存自身實力，就是作戰的最高準則。匈奴人做夢都沒想到霍去病會從他們的身後出現，一個出人意料，便被霍去病打了個措手不及。戰鬥結束後，漢軍以三千的傷亡殲敵總共三萬餘，迫降單桓王、酋塗王及相國、都尉等兩千五百人，俘虜五王及五王母，單於閼氏、王子等共五十九人，相國、將軍、當戶、都尉等六十三人。渾邪王、休屠王兵敗逃亡。
河西之戰結束後，劉徹對霍去病的表現十分滿意，加封食邑五千戶，手下士卒因功封賞者不計其數。當初四路大軍出發時，公孫敖因故迷路，而東路的李廣、張騫二人，也出現了意外。情況是這樣的：東路先鋒李廣率四千餘騎出發後，由於張騫未能按預定時間到達預定地點處會師，結果李廣被左賢王部四萬騎團團圍住。這個情況雖然出人意料，但李廣畢竟是老將，也沒怎麼慌張，先是讓兒子李敢率數十騎刺穿敵陣以提高漢軍士氣，然後便與左賢王部殊死決戰。這場不平等的戰鬥進行了兩日，由於敵我相差懸殊，李廣的四千餘騎死傷大半，形勢相當嚴峻。