隋軍正和李淵的軍隊相持不下，突然又聽到自己的主將被活捉，害怕之餘，後退，並把城門緊緊關上，城門外隻剩下宋老生一支孤軍。遭受著李淵、李建成狠狠的夾攻，被逼迫的走投無路，欲下馬跳進壕溝自殺，卻被正趕上的劉弘基碰上；劉弘基將宋老生的頭顱砍掉。宋老生的部下，均被砍死，橫屍遍野，血流數裏
由於有攻城戰具，士兵肉搏登城，李淵最終攻克霍邑。
霍邑大捷後，大軍乘勝南下。
在李淵進軍途中，臨汾、絳郡的官吏紛紛投降，順利進至龍門，駐軍於壺口山。這時，劉文靜與突厥大將帶領500名士兵以及2000匹戰馬來到龍門。
汾陽人薛大鼎向李淵提出作戰方案說："先不忙於攻河東郡，大軍從龍門西渡黃河，占據豐倉（山西大荔縣），向遠近發出招撫公文，關中地區便可坐穩！"
李淵思量了一會兒，聽從薛大鼎的建議說："就按你說的方案作戰！"
但眾位將領反對說："我們認為先攻河東郡！"
李淵說："你們得給我一個先攻河東郡的充足理由！"
眾位將領麵麵相覷，一時還真找不出一個先攻河東的理由！
於是，李淵命孫華回到黃河以西，令右統軍王長諧、劉弘基以及右領軍陳演壽率步兵6000人自梁山西渡黃河，駐兵於河西。對河東敵人進行夾擊，斷絕河東守將屈突通的西歸之路。屈突通派將領桑顯和率兵西渡黃河夜襲王長諧的營地，突然的襲擊，使王長諧處於被動地位，孫華等人用遊騎襲擊敵人桑顯和的軍隊，大敗敵軍，桑顯和逃入河東郡城中。
接下來，李淵的大軍圍攻河東郡，因城牆太高，屈突通拚死堅守，未能攻下。
李淵便召集將領商量對策，裴寂建議說："屈突通重兵在握，拚死堅守，我們丟掉他而西取長安，萬一失利，退回的話，將腹背受敵，進退維穀，危險至極。先攻下河東，再取長安不遲，長安見援兵屈突通被攻破，望風喪膽，那樣再攻長安就容易了！"
李世民持相反意見說："不然，我軍乘勝西進，長安守軍來不及謀劃，我軍已經兵臨城下。如果功西河久攻不下，長安做好了迎敵的充分準備，而我軍在這裏浪費時間，消耗精力，軍心會渙散，這是很危險的事情。"
李淵綜合大家的意見，決定留部分兵力包圍和牽製屈突通的兵力，自己率大軍渡河西取長安。
大業十三年九月，李淵率領各兵馬西渡黃河，抵達朝邑縣後，進駐長春宮，關中士兵紛紛來歸附。
屈突通聞知李淵西進了，引兵直進長安，但被劉文靜阻止了。屈突通不得已又退入河東城中。
李淵的大兵進入關中後，李淵的女兒平陽公主（柴紹之妻），李淵的從弟李神通聚眾數千人紛紛起兵響應。李淵的女婿段綸也在藍田聚眾萬餘人。
李世民率領的大軍一路攻占涇縣（今陝西涇陽）、雲陽（今陝西三原西）、武功、周至縣。在涇縣時，李世民的軍隊9萬人，同胞妹平陽公主率領的精兵與李建成會師於渭水北岸。
平陽公主與丈夫柴紹各置幕府，號稱"娘子軍"。
李淵命劉弘基、殷開山率領6萬人南渡渭水，駐紮在長安故城。在長安城中與堅守的隋軍交戰，隋軍大敗。
十月，李淵帶領各路雲集的20萬大軍，到達長安城外，其中19萬為李世民統治的部下。在李淵正式下令進攻長安城之前，向軍中傳令不得侵暴百姓，不得毀壞隋朝的宗廟，代王以及隋朝宗室。
十一月，李淵部下軍頭雷永吉首先登上長安城，長安城被攻破。
在這短短120天內，李淵便占領了關中，攻下了長安，這是李淵取得的空前勝利。
李淵入了長安後，鑒於當時全國的政治形勢，覺得自己當皇帝的時機還不成熟。決定以13歲的代王楊侑做自己的傀儡。迎代王於東宮，遷居太興殿，是為隋恭帝，大赦該元，改大業十三年為義寧元年。遙遵隋煬帝為太上皇。李淵自封為唐王，大都督內外諸軍事，大丞相等要職。在丞相府中，以裴寂為長史，劉文靜為司馬，以建成為唐王世子，李世民為京兆邑、秦公，李元吉為齊公。
李淵還居長樂宮，並頒布了《約法十二條》。廢除隋朝苛法。
李淵有了權，對有功之人，進行了必要的封賞。得罪過他的人，他開始報仇，將軍陰世師和京兆丞骨儀曾派人掘了李家的祖墳，燒了李氏的宗廟，李淵用這兩個理由將他們殺了。
馬邑郡丞李靖過去與李淵有嫌隙，也在他報仇斬首之列，在臨刑前，李靖大聲呼救：
"唐國公率領大軍，平了天下暴亂，讓天人都成服於你，但卻為了私怨，就要殺人！讓人大失所望！"
同時，李靖是名將韓擒虎的外甥，名氣之大，李世民向李淵求情，李靖才被免除一死。李淵並將他收羅於部下。
李靖後為李淵登上皇位立了不少的功。