隋恭帝義寧二年（618年）五月，李淵在長安即位稱皇帝，建立唐朝，改元武德。
鞏固關中，逐步消滅割據勢力。他采取誘降與武力並舉，遠交近攻，各個擊破等策略，在以後7年間，先西北，後東南，陸續消滅薛舉、李軌、李密、王世充、竇建德等眾多割據政權，基本控製了全國。至唐太宗貞觀二年（628年）統一全國。
李世民勸父起兵
從隋煬帝大業七年（公元611年）起，天下大亂。煬帝置若罔聞，依然天天花天酒地，醉生夢死。
麵對現實，太原留守李淵難免時時長籲短歎，兒子李世民卻並不如此。原來他早已將時局看清，深知目前形勢不會持續太久。於是結識了好些有誌之士，以圖將來成就大業。
在他交往的朋友中，有一個是晉陽縣（治今山西太原西南古城營）令劉文靜，還有一個是宮監裴寂。都是很有謀略的人。
一天，李世民與劉文靜談論天下冤獄，劉文靜說：“現在是天下大亂，除非有漢高祖那樣的英明人物出來撥亂反正，才可能沒有冤死的好人。”
世民不以為然：“你未免過分悲觀了，隻有庸人才會對現實絕望。”
劉文靜一聽大喜，說：“我的確沒有看錯人啊。公子，現在不時地有農民起義，如果有眾望所歸者敢於挺身而出，正好將他們收歸旗下為我所用。就是太原百姓，恐怕也有十來萬人。你父親手裏又有好幾萬兵將，就算隻憑這些力量乘虛入關，號令四方，那也要不了半年時間，就可成帝業了。”
世民想了想，說：“你說的很在理，隻怕我父親不答應，如何是好？”
文靜說：“這也不難。”於是在世民耳邊說了幾句話。
世民離開後，直接取了好酒，擺了盛宴，請裴寂一塊喝酒。世民知道裴寂好賭，便在遊戲時故意輸錢給他，搞得裴寂格外地心情舒暢。
然後，世民才將自己與文靜的主意告訴他，請他出麵勸說李淵。裴寂說：“你父親與我是老朋友了，如果明言相勸，很可能被他拒絕。”於是兩人如此這般商量了一番。
誰知如此這般之後，李淵仍然十分猶豫，無論裴寂如何分析“隋室江山，唾手可得”，並力勸他“識時務者為俊傑”，他還是堅持自己“世代領受國恩，不敢變誌。”正在這時，有士兵來報，說是突厥大軍壓境，已經到了馬邑（治今山西朔州）。李淵立即與副留守王威和高君雅商議對策，決定派高君雅領兵萬人前往馬邑支援。
高君雅走後，裴寂的話又在李淵耳邊縈繞，思來想去，好幾天寢食難安，卻仍然拿不定主意。接報得知高君雅出師不利後，李淵更加茫然無措，隻是一個人呆呆獨坐。
正在這時，世民策馬飛奔而來，他勸父親道：“現在下有外寇和群盜作亂，上有嚴刑伺候，隨時可能麵臨災禍。不如順應民意，帶兵起義，說不定還能轉禍為福呢！”但李淵仍然不為所動，還揚言要將兒子舉報出去，免得連累一家人。
第二天，邊境軍情更加危急。世民再次進到李淵的房間勸父。這回李淵口氣有所緩和，說是經過一夜的考慮，覺得兒子所言也很有道理，隻是家眷都在河東（治今山西永濟蒲州鎮），怕一旦起兵之後，家人有個什麼閃失。世民於是立即派人飛奔河東，去接河東的家屬。
正在這當口，江都（煬帝自前一年，即大業十二年南下江都後，就一直留駐那裏）有消息傳來，當即嚇得李淵魂不附體。原來，是煬帝因李淵未能將突厥及時擊退，已經派人到了太原，要將他捉去問罪。
李淵心急如焚，不知如何是好，隻得將裴寂和兒子世民召來一同商量。裴寂說：“我前日勸您，就是為了防這一招。現在情勢緊急，還猶豫什麼呢？古人說‘先發製人，後發被人所製’。何去何從，望您三思啊！”世民接著說：“現在皇上昏庸，盡忠無益。”
很快，煬帝派來逮李淵的兩名使者也已來到，李淵推說自己病重不能起床，隻派下屬將兩人先安排住下。這兩人呢，雖然身負皇上命令，但因李淵手握兵權，也隻好耐著性子等待。
不幾日，江都煬帝又傳來赦免的命令，讓李淵還擔任原職，戴罪立功。情勢一有緩解，李淵又放寬了心，起兵之事就擱置了好幾日。
裴寂及世民看李淵遲遲不能決斷，心中焦急，不斷催促。世民又將劉文靜保舉出來，希望一同謀事。文靜上來就獻上一計，即假借皇帝名義發詔，命令太原、西河（治今山西臨汾東北十三裏）、雁門和馬邑的百姓，凡是二十歲以上的都要當兵，以東征高麗（即高句麗國，都今朝鮮平壤）。這道命令一發下去，立即民怨沸騰。
這期間，世民又多次勸父舉兵，李淵先說：“家屬還未到。”世民說：“家屬已經啟程，想必很快就到了。現在事情已很緊急，得早點布置才好。”李淵又皺眉道：“兵力不足，恐怕一時也成不了事。”世民上前一步，附在李淵耳邊說了幾句。李淵隨口說“好。”
費盡周折至此，李淵終於決定起兵反隋。同在太原的兩個副留守，即王威和高君雅，察覺李淵父子有異，準備要除掉李淵，卻被李淵父子及劉文靜等用計，以“引突厥入寇”的罪名將二人斬首。
很快，李淵的家眷也都從河東來到。這時竇夫人已經病逝，三兒子玄霸也在家鄉不幸因病夭折，所來的人中有李淵的大兒子建成、四兒子元吉及女婿柴紹等，其中還有李淵之妾萬氏。萬氏所生兒子智雲在途中失散，後在長安被留守陰世師所害，李淵得知後傷心不已。
為了穩住突厥，李淵派出劉文靜與兵臨城下的突厥談和，邀其共定京師，一起反隋；並約定勝利之後，土地歸李淵，玉帛歸突厥。始畢可汗大喜，當即贈馬千匹。搞定突厥之後，李淵在大業十三年（617年）六月自號義兵，親自率領全副武裝的士兵三萬從太原出發，大兒子建成和二兒子世民都隨行，隻留下小兒子李元吉留守晉陽宮。其起兵名義，則說是要擁立在長安的代王侑。一路上，將軍與士兵同甘共苦，所過之處秋毫無犯；沿途樹上有成熟的大蘋果，也是給了錢後才摘下來吃。這支紀律嚴明的隊伍，頗得百姓擁戴。
新王朝的建立
晉陽的南麵是西河郡，郡丞高德儒很不識時務，當李淵傳檄至該郡的時候，竟表示不服從，於是，李淵"命大郎，二郎率眾取之"。取西河，是李氏父子晉陽起兵後第一戰，勝敗關係到李唐王朝的帝業，因而十分重視。臨行前，李淵對太原令溫大有說："我兒子年輕，請您參與謀劃軍事，事情的成敗，在此行就可預測出來了。"起義部隊的士兵都是新近招募的，沒有經過訓練檢閱。李建成，李世民與士兵同甘共苦，遇到敵人身先士卒。附近道旁的蔬菜瓜果，不是買的不準吃，兵士有偷吃的，立即找物主給予賠償，也不責備偷竊者，士兵及百姓們對李氏兄弟都心悅誠服。義軍到達西河城下，高德儒閉城拒守，但很快就被攻破。抓住高德儒後，李世民曆數其罪過，說："你指野鳥為鳳凰來欺騙君主，騙取高官，我們興義兵，正是要誅滅奸佞之人。"隨後，將高德儒處死，其餘官員一個不殺，秋毫無犯，分別撫慰吏民百姓，讓他們各複其業，遠近的百姓聽到後非常高興。西河首捷，往返僅九天，李淵高興地說："像這樣用兵，就是橫行天下也可以了。"於是就訂下了直取長安的計劃。此役後，設置大將軍府，分為三軍。封李建成為隴西公，左領軍大都督，指揮左三軍。封李世民為敦煌公，右領軍大都督，指揮右三軍。任命裴寂為長史，劉文靜為司馬，唐儉和溫大雅為記室，溫大有參與機密，長孫順德和劉弘基等為統軍。形成了取天下的軍事，政治機構。
大業十三年七月，李淵誓師於野，留三子元吉守太原，親自率領建成，世民共三萬人馬南下。隋朝虎牙郎將宋老生駐霍邑，他以精兵二萬阻擋義師前進。這時，雨下了很長時間還不止，軍隊缺糧，又流言突厥乘虛侵襲太原，李淵召集將領僚佐們商議向北返回。裴寂等人都說："宋老生，屈突通聯合居守險要，不容易很快攻下……太原為一方的都會，而且義兵的家屬都在太原，不如返回救援根本之地，再籌劃今後的義舉。"李淵同意此議，而李世民反對說："現在稻穀遍野都是，還愁無糧嗎宋老生為人輕狂浮躁，一戰就可以擒住他。李密舍不得糧倉粟米，顧不上向遠方圖謀。劉武周和突厥人表麵上雖然相互依賴，但實際上卻互相猜忌。劉武周雖然追逐遠利而攻取太原，但豈肯忘記就近的馬邑呢我們本來是興大義，奮不顧身地拯救百姓，應當先行進入鹹陽，號令天下。現在隻遇到了小敵，立刻就要回師，恐怕跟隨起義的人一旦解體，返回去守衛太原一城之地，我們就成賊了，怎麼能保全自己呢"李建成也認為李世民的話對，但李淵不聽，催促軍隊出發。李世民再要進入李淵的營帳勸阻，天黑了，李淵已經躺下休息。李世民進不去，就在帳外號哭，哭聲傳到帳中，李淵召見世民問話，世民說："如今我們舉兵是為大義，進軍攻戰就能取勝，後退就會潰散，到那時，部眾潰散在前，敵軍追擊在後，我們被滅亡的日子就到了，怎麼能不悲傷呢"李淵醒悟過來，說："軍隊已經出發，我們怎麼辦呢"李世民說："右軍整裝而未發，左軍雖然出發，估計還沒走遠，請讓我去追趕他們。"李淵笑道："我的成敗都在於你，知道了還說什麼呢隨你去做吧。"李世民和李建成連夜把左軍追了回來。過了幾天，太原的糧食也運到了。