在這種嚴峻的形勢下，李淵已經沒有鬥誌了，慌忙頒發手敕：“賊勢到如此地步，很難與他們抗爭，宜放棄黃河以東地區，謹守關西。”可是秦王李世民堅決不同意，他上表稱：“太原是王業的基礎，國家的根本，河東土地富饒，京城的糧食全靠河東供給，如果全部放棄，臣深感憤恨。希望給臣三萬精兵，必定消滅劉武周，收複汾、晉。大敵當前，豈能退縮，兒等願帶兵出戰！”
於是，李淵答應了李世民的要求，積極準備出征。李淵調集關中所有兵力由李世民統一指揮，封他為征虜大元帥，即刻起程北上討伐劉武周。李淵知道此次討伐劉武周事關重大，如果勝利的話，後方從此就固如磐石；如果戰敗，唐王朝就麵臨不能統一天下的局麵。為了給李世民壯行，李淵親自到長春宮為他擺酒送行。十一月，正值隆冬季節，天寒地凍，李世民趁河水結冰，從華陰渡過渭水、洛水北上，在龍門渡過黃河、汾水，駐兵柏壁，與劉武周的主力、宋金剛率領的軍隊遙相對峙。
由於裴寂堅壁清野的政策實行在先，所以現在最為緊缺的就是糧餉，龐大的軍隊每天消耗的糧食非常巨大。但是黃河以東的州縣遭搶劫後，沒有糧倉，一般的百姓也都缺糧，人人懼怕侵擾，聚居在城中，征集不到東西。麵對這種情況，李世民堅決改變過去裴寂那一套擾民的做法，想方設法安撫人心。由於秦王李世民在百姓心目中的威望很高，所以他一打出自己的旗號，百姓就紛紛踴躍歸順。前來的人日益增多，唐軍也不斷地征收到糧草。軍糧充足，隊伍也得到了加強。不過，現在還不是以硬碰硬的時候，所以李世民休兵喂馬，隻命小部隊抄掠敵軍，大軍則堅壁不戰。
在大軍堅壁不戰的同時，李世民與宋金剛的勢力也有小的交鋒。
十二月，劉武周大舉進兵夏縣，永安王李孝基全力抵抗，但力量對比懸殊，全軍覆沒，永安王李孝基等被傷。李孝基派人通知李世民，自己則躲起來養傷。
李世民接到消息後非常憤怒：“敵人如此猖獗，我親自帶兵前去征剿吧！”
兵部尚書殷開山、行軍總管秦叔寶願意代元帥出征。
李世民非常高興地說：“二位將軍願意同去，比我親自去都強。敵兵已經取得勝利，現在一定回軍，最好在中途伏擊，攻其不備，定能取勝。”
二將領命出師，在路上探知，入侵夏縣的劉武周大將尉遲敬德、尋相已經捉住了李孝基等人，準備返回澮州，現在很快就到美良川。美良川有一條河是尉遲敬德等人必經之路，殷、秦二人率軍埋伏在河邊，等到尉遲敬德、尋相率軍渡過一半的時候出軍攻擊，把尉遲敬德等人打得潰不成軍，斬殺兩千餘人，尉遲敬德逃脫。這次大勝而歸，大大提高了唐軍的士氣，諸將紛紛請戰，但李世民認為時機還不成熟，不許出戰。隻是到處收集情報。
武德三年（公元620年）正月，尉遲敬德和尋相奉命救援蒲阪的王行本，李世民聽到這個消息，親自率領三千人馬，連夜趕到安邑（今山西運城東北）設伏。尉遲恭等人還未做準備，已經被殺得七零八落，尋相和尉遲敬德隻身逃跑，其餘全軍覆沒。
在偵察敵情的過程中，李世民也曾遇到一次驚險的事情。一次，李世民帶輕騎兵去偵察敵情，隨從的騎兵四下分散開來，李世民隻和一名穿鎧甲的士卒登上山丘休息，不想竟然睡著了，結果被敵軍的情報人員發現了。不久，敵人從四麵包圍了他們二人。開始，二人毫無知覺，恰巧蛇追老鼠，碰到了甲士的臉，甲士驚醒後發現敵情，趕緊推醒李世民，二人一起上馬，才走了百餘步，就被敵人追上，李世民用大羽箭射死了敵人的驍將，敵騎兵這才退去。
經過一段時間的堅壁不戰，宋金剛的大隊人馬漸缺糧草。劉武周為打通運糧道，給宋金剛供應糧草，數次攻打浩州。唐將李仲文堅守浩州，劉武周多次進攻，都被李仲文擊退。太原的糧草不能運到柏壁，使宋金剛的軍糧匱乏。李仲文還派人四處騷擾劉武周的運糧隊伍，為李世民的勝利奠定了基礎。
又堅壁了一段時間，李世民手下的有些部將不耐煩了，請求與宋金剛交戰。李世民說：“宋金剛孤軍深入，麾下集中了精兵猛將，劉武周占據太原，依仗宋金剛為屏障。宋金剛的軍隊沒有儲備，比我們更缺糧食，隻有靠掠奪補充軍需，利於速戰。我們關閉營門不出，養精蓄銳，可以挫敗他們的銳氣。分兵攻汾州、隰州，騷擾他的心腹之地，他們糧盡無計可施。自然會退軍。我們應當等到那時再戰，目前不宜速戰。”
雙方對壘相持5個月後，宋金剛軍糧困乏，正值隆冬季節，再也沒有糧食可以掠奪了，部隊士氣大減，不得不撤軍補充糧食。李世民親率大軍奮勇追擊，唐軍漫山遍野，傾巢而出，鼓聲震天，喊聲如雷。至呂州追上了斷後的宋金剛部將尋相。唐軍憋足了勁，衝入尋相的部隊，就如狼入羊群，勢如破竹。尋相抵敵不住，大敗而走。李世民緊隨其後，乘勝追擊，尋相返回又戰，戰敗再逃，李世民又繼續追擊，一晝夜走了200多裏，打了幾十仗。追到高壁嶺，總管劉弘基抓住李世民的馬韁規勸道：“大王打敗敵人，追到這裏，功勞已足夠了，不斷深入，就不愛惜自己嗎？況且士兵們饑餓疲憊，應當在此停留紮營，等到兵馬糧草都齊備了，然後再進擊也不晚。”李世民說：“宋金剛無計可施才逃跑，軍心渙散；功勞難立而失敗頗易，機會難得，轉瞬即逝，一定要趁此機會消滅他。如果我們停滯不前，讓他有時間考慮對策加以防備，就不可能輕易打敗他了。我盡心竭力效忠國家，怎麼能隻顧惜自己的身體呢？”於是。催馬向前。繼續追擊，一看主帥如此，將士們也不敢再提饑餓。唐軍在雀鼠穀追上宋金剛，一天交鋒八次，都打了勝仗，俘虜和斬殺的敵軍有好幾萬。