衛青從小隨父親鄭季生活。可是鄭家根本瞧不起衛青這個私生子，於是讓他上山放羊。鄭家的幾個兒子也不把衛青看成手足兄弟，經常欺辱他。衛青在這樣備受歧視的環境下生活，受盡了苦難，這亦鍛煉了他堅強的性格。
衛青長大後，做了平陽公主的騎奴，經常隨同平陽公主出行。漸漸地，衛青在平陽公主身邊學會了許多上層階級禮節，同時也掌握了一些文化知識。
建元二年（前139）春，衛青的同母異父的姐姐衛子夫被漢武帝看中，選入宮中，衛青也隨姐姐到了長安，開始接近漢武帝。不久，衛子夫身懷龍種。當時身為皇後的陳阿嬌一直未孕，她得知衛子夫得寵並懷有身孕之後，不僅非常嫉妒，而且擔心自己的地位不保，但衛子夫受寵正濃她無沒報複，隻能將所有怨恨全撒到了衛子夫的弟弟衛青的身上。她暗暗派幾名打手，趁衛青不備把他抓了起來，準備處死。正巧衛青的好友公孫敖得知，及時將他從虎口救了出來。武帝知道此事，非常生氣，於是將衛青提升為建章宮的侍衛長。不久，衛子夫被封為夫人，衛青又升為太中大夫。從此，擺脫了奴隸地位。後來，陳皇後在巫蠱事件後被廢，衛子夫又一躍成為皇後，這下可成了真正的皇親國戚。
連勝匈奴奉行法令
由於衛子夫得寵，衛青貴為外戚，衛青“善騎射，材力絕人”，深得武帝青睞。元光五年（前130），衛青由侍中一躍而為車騎將軍，從此開始了他馳逐大漠的軍事生涯。元光六年（前129）冬天，匈奴騎兵襲擊上穀，殺掠吏民，漢武帝派衛青同公孫賀、公孫敖及李廣各帥弓騎分四路北擊匈奴，這次作戰，公孫敖折兵7000，李廣被俘，公孫賀無功而返。唯衛青出上穀，直搗龍城。充分顯示了衛青的將材，使他初露鋒芒。衛青也因此受封關內侯。
元朔二年（前127），匈奴入侵，殺遼西太守，虜掠漁陽2000多人，大敗韓國安的大軍。衛青率部出雲中以西，至高闕，實行了進軍2000餘裏的一側大圈轉包圍，聚殲了河南匈奴軍，僅跑掉白羊、樓煩二王。這是一次遠距離的側敵進軍，隨時有受到右賢王側擊的可能，所經大部分是從未到過的沙漠、草原，要從一側壓迫河南匈奴軍於河套而殲滅之，更需行動迅速，組織周詳。衛青對如何封鎖消息，秘密行動，捕捉匈奴暗哨巡騎，尋找可靠的向導，了解水草位置，以及解決大軍供給等等，都計劃得很周到，從而達到了收複河南、聚殲白羊、樓煩王所部的戰役目的。這次作戰，衛青以巧妙的戰略術克敵製勝。收回了大片的失地，解除了匈奴對長安的威脅，功勞巨大，被封為長平侯。
元朔五年（前124）春，漢武帝命令衛青率3萬騎兵出高闕，與蘇建等六將軍所率軍隊共擊匈奴。在衛青的指揮下，漢軍進行了一次非常出色的遠程奔襲。10萬餘騎的大軍，出塞六七百裏，秘密迅速，完全做到了出其不意，而且情況摸得很準，真可謂“天兵神將”。到達目的地後，衛青又十分果斷和迅捷的展開兵力，四麵合圍，除右賢王僅率數百騎得以突圍逃走外，其餘右賢王所部、包括裨王十餘人，全部被殲。
大軍凱旋至邊塞，武帝派使者捧著大將軍印，授衛青以內朝最高的職位大將軍，諸將皆受大將軍節製。
元朔六年（前123）春，大將軍衛青出定襄，統率公孫敖、公孫賀、蘇建、趙信等幾位將領，殲滅匈奴軍幾千人而還。一個月後複擊匈奴，殲滅敵軍10000人。而蘇建和趙信兩軍3000餘人獨遇單於大軍，苦戰一天，漢兵死傷將盡。趙信原為胡人，降漢封侯，現在時局危急，加之匈奴引誘，便率殘部800騎兵奔降單於。蘇建軍全軍覆沒，隻身逃歸大將軍。大將軍衛青詢問手下官員：蘇將軍應如何處置？議郎周霸說：“應該斬首以顯示將軍的威嚴。”
衛青一向善良仁愛、謙虛謹慎。他沉思半晌說：“我衛青有幸以皇親身份受皇上的寵信，在軍中任職不怕沒威嚴。周霸勸我建立威嚴，這樣就大失人臣應有的本分。即使我有權斬殺將領，也不應以我現在的地位和皇上給的寵信來誅殺將領，還是送到天子麵前，讓天子親自裁奪吧！由此可以看出做人臣的不敢專權恣縱，不是也很好嗎？”
逐胡漠北居功不驕