公元188年十一月，涼州叛軍首領王國包圍陳倉，即時下陜西省寶難市。危急關頭，漢靈帝又想到了皇甫嵩，任命他為左將軍，督領前將軍董卓，各率兩萬士兵拒敵。董卓提出迅速進赴陳倉，力救陳倉於危卵。但皇甫嵩認為，陳倉城墻堅固，守軍悍勇，可讓王國忙碌一陣，消耗其鬥誌，再行突襲。果然，在圍攻八十餘天不下陳倉後，王國隻得撤退。皇甫嵩下令起兵追擊，但董卓以"窮寇勿追"之理反對。皇甫嵩堅持己見，結果大敗王國，斬敵萬餘人。兩次分析不及皇甫嵩的董卓，開始嫉妒皇甫嵩。不過他對付皇甫嵩的方式也是獨特，這就是將朝廷的犒賞，全部用來取悅士兵。由此也就有了"皇甫嵩會打仗，董卓會帶兵"一說。
公元189年，漢靈帝病重，任命董卓為並州牧，所部交由皇甫嵩統領。董卓不肯放棄軍權。皇甫嵩的侄兒皇甫酈認為董卓抗命，力勸皇甫嵩興兵討伐。皇甫嵩堅持光明正大虛理，上奏朝廷。董卓對皇甫嵩更加怨很。
蒞年，大將軍何進召外戚軍團進京鏟除"十常侍"，豈料引狼入室。忤逆篡權掌控東漢朝廷的董卓，為防有人算計於他，將原京兆尹蓋勛征為議郎。蓋勛便私下聯絡帶兵三萬、駐紮在扶風郡的皇甫嵩，唆使他討伐董卓。但同樣擔心皇甫嵩"背後開槍"的董卓，征召皇甫嵩為城門校尉。皇甫嵩是個實誠人，應召將行，手下有人勸他千萬別去。皇甫嵩不聽，堅持赴任，結果一到洛賜，董卓就將其下獄，擇日虛斬。
皇甫嵩之子皇甫堅壽素與董卓交好，聞訊快馬加鞭從長安趕到洛賜，找到正在大宴賓朋的董卓，求他看在多年朋友的情份上，饒了其父，說罷叩頭流淚。董卓起了側隱，釋放皇甫嵩。
公元192年，司徒王允通過貂蟬唆使呂布殺了董卓。有人建議王允讓皇甫嵩統領董卓軍隊，並予安樵，但王允不聽，奏請漢獻帝劉協任命皇甫嵩為征西將軍，負責屠滅董卓宗族。不久，董卓舊部李傕、郭汜攻入長安，殺死王允等。皇甫嵩改任車騎將軍，八月，升任太尉。十二月，前職皆被免除。李傕、郭汜等被滅後，又被任光祿大夫、太常等職。
公元195年，皇甫嵩病逝。朝廷贈以驃騎將軍印綬，並任命他家裏一人為郎官。
公元782年，唐德宗追封古代名將六十四人，並為他們設廟享奠，內中就有"太尉槐裏侯皇甫嵩"。公元1123年，宋朝為古代名將設廟，七十二位名將中亦包括皇甫嵩。出版於北宋的《十七史百將傳》及成書於明代的《廣名將傳》，皇甫嵩亦列其中。
有史學者稱皇甫嵩是"東漢柱石"、"救火隊長"。