李世民笑著說："宗羅侯的部下，都是隴西外的人，我們先前將他們擊破，四處逃散，傷亡並不多，如果薛仁杲將他們收複，重新組成新的力量，那將是不可估量的強大軍隊。我們隻有急忙追擊，阻止薛仁杲這樣做。逃散的人無城可回，隻得逃到隴外去。然而高庶城的守軍很弱，而且薛仁杲已經被追來的軍隊嚇破了膽，還沒來得及部署謀劃，就已經被我們包圍，你說他怎麼不投降？使得我們馬到成功！"
平定隴西以後，又平定了河西，中原得到了進一步穩固。對付勾結突厥的劉武周集團的時機已經成熟，所以平定代北劉武周，成了唐王朝統一天下的第二個目標！
劉武周殺了馬邑太守後，開倉濟貧，收得徒眾一萬多，自稱太守。進入汾陽宮，搶得宮人，獻給突厥，從此與突厥關係很近。
易州的宋金剛，手下有一萬多士兵，他與魏刀兒勾結，去討伐竇建德，最終被竇建德打敗．最後，宋金剛率領殘兵投奔劉武周．劉武周素知宋金剛善於用兵，得之大喜，立即封他為宋王，並把自己的妹妹嫁給他．
唐武德二年，唐王朝和突厥的關係緊張，突厥轉而支持劉武周南下．於是，宋金剛向劉武周建議，進兵晉陽，向南爭得天下！劉武周任命他為西南大行台，率軍三萬向南進發．很快占領榆州和介州，並進攻並州（並州的治所在太原）和太原．
李淵派左武衛大將軍薑寶誼和行軍總管李仲文迎戰，結果全軍覆沒，薑寶誼被殺，李仲文被俘虜，最後有機會得以逃回！
唐高祖深以唐軍屢遭失敗，而憂愁不已．於是派裴寂前往征討劉武周，裴寂率軍到介州，駐紮在度索原．宋金剛截斷上遊水源，使得裴寂大軍沒有足夠的飲水．在轉移營地時，慌忙中，被宋金剛率軍襲擊，唐軍大敗，士兵四處逃竄，裴寂逃回晉陽．
留守在太原的李元吉，驕奢淫逸，不理政事，整天飲酒打獵，殘害百姓，劉武周的大軍將要逼近太原時，他跟司馬德威商議，司馬德威也無計可施，隻是建議："齊王堅守城池．即為上策！"
李元吉假裝囑咐司馬德威說："那好，你守城，我出戰！"李元吉卻帶著妻妾趁夜溜回長安，就這樣，劉武周輕易占領了太原．
劉武周派宋金剛攻入晉州，唐軍大將軍劉弘基被俘虜，最後逃回。宋金剛又攻取澮州（今山西翼城縣），進逼絳縣（今山新絳縣），攻陷龍門，使得裴寂節節敗退，被逼迫到山西西南部虞州（今山西運城一帶），秦州（今山西萬榮縣）。裴寂並不去組織力量防禦，而是叫來州官。把老百姓收到城裏去，把財物燒毀，企圖堅壁清野，老百姓因此而懷恨唐軍！
夏縣人呂崇茂殺縣令，乘勢聚眾，響應劉武周，並自稱魏王。裴寂收到李淵的旨意，征討呂崇茂，由於寡不敵眾，一經臨戰，唐軍紛紛潰退，裴寂隻得逃回長安，上本求援。
唐高李淵在形式險惡的情況下，於是下詔："賊勢如此，難與爭鋒，宜棄之河東之地，謹守關西而已。"
李世民審時度勢，向唐高祖上表說："太原，王業所基，國之根本；河東富貴，京所姿。若舉而棄之，臣竊憤恨，願假臣精兵三萬，必翼平劉武周，克複汾、晉。"
由於李世民的主動請纓，於是唐高祖李淵征調關中的全部兵力，悉交李世民統領，去征討劉武周，並親自到華陰長春宮為李世民餞行。
武德二年（619年）十一月，秦王李世民率軍抵達黃河岸邊，此時，正是隆冬季節，河裏結著厚厚的冰。李世民和隊伍們冒險履冰過河，駐紮在柏壁（今山西新絳西南），與宋金剛遭遇。
當時，黃河以東的州縣已被劉武周搶掠一空，民心浮動，倉無積穀。李世到達此地，立即發出安民告示，農民聽到李世民大帥來了，都非常高興。唐軍缺糧，百姓很快送給唐軍很多糧食。
李世民讓大部隊在營地修養整頓，隻派一小支部隊去騷擾敵軍。敵軍一出來，立馬就走，敵軍退了，他們又前進。
宋金剛是個急性子的人，性起，率軍進攻。李世民仍不出兵，隻是用弓箭將敵軍的一員猛將射倒，宋金剛隻得退去。李世民依然如故，做自己手頭的事情。
一天，李世民正在帳內跟將領商量作戰方案時，一個士兵進帳報告："夏縣兵敗，全軍覆沒，永安王李孝基等人受傷嚴重。"
李世民憤怒地說："敵人如此凶猛，我要親自帶兵征討！給他們點顏色看看！"
兵部尚書殷開山站出來說："我願代元帥出征，剿滅盜賊！"剛說完，行軍總管秦叔寶也站出來說："我也願意前往征戰！"
李世民高興地對二位說："二位將軍願意同去，比我親自去，取得勝利的機會更加大！敵軍已經取得勝利，現在肯定在回營的路上，如果在中途伏擊，攻其不備，一定能取得勝利！"
二位將領領命出師，乘著尉遲敬德和前來幫助呂崇茂的尋相率軍返回澮州途中，即將到達美良川，遭到殷、秦二位將軍率軍的阻截。在尉遲敬德率軍渡河時，兩將出軍夾擊，大破敵軍，尉遲敬德、尋相得以逃脫，但部下均被俘虜。
殷、秦二位將軍大勝而歸，李世民仍然不出戰，諸位將領請求乘勝與宋金剛決戰，李世民說："宋金剛孤軍深入，將猛兵精，利在速戰速決。我軍閉營養銳，盡挫寇鋒。等他糧盡的時候，自己退去的時候，我們再出擊！"
武德三年二月，劉武周派兵入寇潞州，被王行敏擊破。
三月，唐行軍副總管張倫在浩州擊敗劉武周，俘虜並斬首千餘人。
四月，劉武周多次進攻浩州，但被李仲文擊敗。此時，宋金剛軍中的糧食已盡，於是向北撤退。李世民看準這個時機，決定反擊，於是率軍北上猛追。在呂州，李世民追上尋相的軍隊，隻有少數敵軍，很快就解決了。李世民率大軍乘勝追擊，一晝夜行兩百裏，戰數十合。到達高壁嶺時，劉弘基勸諫："士兵們與敵人交戰已久，已疲憊不堪，饑餓難忍，駐軍在此，等待糧食運來，讓士兵吃飽後，再進軍！"