元狩二年（公元前121年）春，霍去病以冠軍侯為驃騎將軍，率萬騎出隴西有功。武帝說：“驃騎將軍率戎士，……殺折蘭王，斬盧侯王，銳悍者誅，全甲獲酉鬼，執渾邪王子，及相國、都尉，首虜八千九百六十餘級，收休屠祭天金人，使匈奴的軍隊十減七成，益（加）封去病二千二百戶。”
這年夏天，霍去病與合騎侯公孫敖均出北地，二人異道。霍去病率軍至祁連山，捕首虜甚多。武帝說：“驃騎將軍逾居延，遂過小月氏（大月氏遷走後，留下的部眾稱小月氏），攻祁連山，得酋塗王，以眾降者二千五百人，斬首虜三萬二百級，獲五王，五王母，單於閼氏、王子五十九人，相國、將軍、當戶、都尉六十三人，所統漢軍大約十減三，加封去病五千四百戶。”合騎侯公孫敖犯了在路上滯留不能與驃騎將軍按期會合，當斬首，贖為庶人。諸宿將（老將）所率騎士、馬匹、步兵也不如驃騎將軍所率領的精壯，驃騎將軍所率領的是精心挑選出來的。驃騎將軍也敢於深入敵境，常和精壯的騎兵走在大軍的最前麵。他率領的軍隊也很幸運，未曾陷入困窮絕境。而諸老將常因滯留、落後遇不到敵人而犯法。因此，驃騎將軍常常受到皇帝的親近、貴寵，可以和大將軍相比。
這年秋天，匈奴單於怒渾邪王為漢軍大敗，損失數萬人，欲誅殺渾邪王。渾邪、休屠王遂降漢，武帝恐他們詐降乘機襲邊，所以令霍去病前往接應。霍去病勝利完成了這一任務。武帝稱讚霍去病之功說：“驃騎將軍霍去病率軍征匈奴，西部渾邪王及其部眾都奔走歸降，漢以軍糧給其食，驃騎將軍同時率弓箭兵誅強悍不降的叛軍八千餘人，使匈奴之王三十二位歸降。漢朝戰士不因遠征而離別、悲傷，就使匈奴十萬之眾都來歸降，……以千七百戶加封驃騎將軍。”減隴西、北地、上郡戍卒之事，以減天下的徭役。
元狩四年（公元前119年）春，武帝令衛青、霍去病各率五萬騎兵，轉運之士及後應步兵數十萬出擊匈奴，而挑選“敢力戰深入之士”屬驃騎將軍。驃騎將軍從代郡出發獲大勝，軍隊回來後，武帝說：“驃騎將軍去病統兵，親自率領所俘獲的匈奴降兵，帶著簡單的行裝，跨越大沙漠，……獲匈奴屯頭王、韓王等三人，將軍、相國、當戶、都尉八十三人，在狼居胥山做壇祭天，在姑衍山為單祭地，登臨高山以望漠北之瀚海。執、擄獲其族類七萬有四百四十三級。所領軍隊減十分之三，軍糧供應取自敵人，行殊遠而糧不絕，以五千八百戶加封驃騎將軍。”
《漢書》卷55《霍去病傳》載：“驃騎將軍去病凡六出擊匈奴，其四出以將軍，斬首虜十一萬餘級。渾邪王以眾降數萬，開河西、酒泉之地，西方益少胡寇。四益封，凡萬七千七百戶。其校尉吏有功者六人，為將軍者二人。”
驃騎將軍少言寡語、不泄露別人說的話，有氣魄敢於承擔任務，武帝曾想教他學孫吳兵法，他回答說：“就看戰略如何了，不隻是學習古代兵法。”武帝為他建造府第，令他去看看，他回答說：“匈奴未滅，無以家為也。”因此，武帝更加看重和喜愛他。他年輕時在宮中當侍中侍奉皇帝，富貴後，不知體恤士卒。從軍出征時，武帝為他派遣主膳食的太官裝載數十車食物等東西，回師後，不少車上丟棄剩餘的糧食、肉，而士卒有饑餓的人。在塞外時，士卒因缺糧餓得站不起來，而驃騎將軍還在踢足球，事多類此。
霍去病做大司馬後，曾上疏要求立武帝之子劉閎、劉旦、劉胥為王，經武帝批準後，封三人分別為齊王、燕王、廣陵王。
元狩六年（公元前117年），驃騎將軍霍去病去世，武帝深為悼念，派渾邪王降漢後安置於五郡的匈奴鐵甲軍，從長安到茂陵列成軍陣，為他造的塚墓形狀像祁連山，以紀念他的功績。因為他勇武和有廣地之功，諡曰：景桓侯。