天亮之後，李淵質問裴寂。裴寂一臉無奈地說。“世民暗中召榘兵馬，欲舉大事，恐遭你斥責而敗露，讓我想法勸你。我覺得天下亂勢你比我看得清楚，擔當大義的道理你比我還明白，無法以言詞勸動，不得已出此下策！”
李淵長歎一聲：“舉事之心我何嚐沒有？如今你我都犯下大罪，幹也得幹，不幹也得幹了！”
李淵回到家，把李世民叫到跟前說：“舉事造反我不怕，不過你可記得，解雁門之圍時，你在皇上麵前立的誓言？我怕人說你言而無信！”
李世民說：“父親，當今天下混亂，百姓貧困，全因皇上荒淫所致。今天的皇上已非昨日皇上，難道我們還非得擁戴一個遭天下人唾棄的國君不成？”
李淵無言以對。
“再說，我是為父親著想。父親受詔討賊，賊可以討盡麼？討不盡，則最終難免獲罪。當年世間傳說李氏當應讖言，結果李渾一族無辜被殺。父親即便能討盡賊寇，皇上給你個功高不賞，處境就更危險了。所以，舉事大計，父親不可再猶疑。”
李淵歎息說：“你說的極有道理。今日破家亡身由你，化家為國也由你了！”
李世民喜出望外，又馬上提出請李淵設法將劉文靜放出大獄，跟裴寂一起參與大事。
大業十三年七月，在經過幾個月緊鑼密鼓的謀劃和招兵買馬之後，李淵正式起事，自稱大將軍，建大將軍府，任裴寂為長史，劉文靜為司馬。
劉文靜說：“欲奪天下，必須先取關中。除了西進關中，直取長安之外，我們沒有別的路可走。也惟有此，才可成功。”
後來的事實證明，這真是英明之舉！
裴寂又獻計策：為了避免過早地顯山露水，成為眾矢之的，此時先不公開宣稱反叛朝廷，而是尊楊廣為太上皇，擁立留守長安的代王楊侑為帝。這樣，進軍長安也算出師有名。
李淵聽後，自嘲地笑笑說：“這是掩耳盜鈴。然而迫於時事，也隻好如此了。”
留守長安的代王楊侑聽說李淵在晉陽起兵，就料知他想奪西京，而且來者不善，立刻派虎牙郎將宋老生率兩萬精兵屯守霍邑，驍衛大將軍屈突通屯守河東，阻擊李淵西進。
七月底，李淵命四子李元吉為太原太守，駐守晉陽宮，全權處置留守事務。自己親率三萬甲士，立軍門誓眾，啟程西進，開始了創業的義舉。
此前不久，李淵寫信給正在威逼東京的李密，想聯合共舉大計。這時候，派往瓦崗軍的使者，帶回了李密的複信：
“我與兄派流雖異，根係本同，自己才疏學淺，被四海英雄共推為盟主。希望左提右挈，戮力同心，執子嬰於鹹陽，殪商辛於牧野，共襄此盛舉……”信中還要李淵率幾千人馬親至沁陽，與他麵結盟約。
看了李密的複信，李淵笑著說：“李密妄自尊大，不甘心居人之下，一群草寇推他為首領倒也罷了，還想要我也承認他的盟主地位。燕雀淩於鴻鵠，實在有些不自量力。不過，我們今天誌在關中，如果與他斷然絕交，等於又樹一敵，於我不利。不如卑辭推獎，任他驕狂。利用他為我堵塞成皋之道，拖住東京之兵。等到關中平定，據險養威，再從容地觀看鷸蚌之爭，坐收漁人之利也不晚！”
隨即，李淵命記室溫大雅再回一書說：“我雖庸劣，幸承祖先餘緒，出為八使，入典六屯。國家傾覆而不扶，將為時賢責備，所以大會義兵，和親北狄，共匡天下，誌在尊隋。天生兆民，必有主宰，當今可做天下主宰者，舍密公還能有誰！老夫已過知命之年，無心力圖天下主宰。衷心擁戴賢弟，攀鱗附翼，望弟早膺圖籙，以安寧天下百姓！如能以我為李氏同姓，寬容接納再封於唐，有此殊榮足矣。至於殪商辛於牧野，執子嬰於鹹陽，我無此能力氣魄。汾晉左右，尚須安固，盟津之會，無暇顧之。”
李密收到這封書信後高興萬分，逐一示左右將領，說：“唐公都推我做盟主了，不愁天下不定！”
此後雙方信使往來不斷。
李淵西進關中之前，還辦了一件大事：派劉文靜出使突厥，麵見始畢可汗，請他出兵相助，攻取長安。李淵此舉有他一定的道理：一是自己的力量畢竟還是薄弱，如遇大敵，難以抵擋，有了突厥幫助就會強大多了；二來如果突厥出兵，就與自己成為同路，算是入了夥。若不然，自己率軍西進，突厥瞅準空子領兵南犯，必將把自己推入首尾難顧的尷尬境地。
劉文靜臨行前，李淵再三叮囑，對始畢可汗一定要許以厚利，反複重申：如可汗相助攻下長安，民眾土地歸唐公，金玉繒帛歸突厥。
李淵率軍西進，一路上廣發文告，向沿途郡縣民說明，此去關中是為尊立代王為帝，並別無他圖。
走到當年與甄翟兒大戰的雀鼠穀，適遇大雨連綿，山道泥濘，不得前進，隻好駐軍賈胡堡，此地距宋老生屯守的霍邑隻有五十多裏。
雨幕時疏時密，卻是終日不停。軍中的糧食已不多了，劉文靜至今杳無音信。李淵整天愁眉不展。這時又聽風傳，突厥要乘虛攻襲晉陽。李淵急了，連忙召集將佐，商議著要撤回太原。
裴寂表示讚同：“宋老生、屈突通連兵據險，恐怕不易很快攻破。李密口說聯合，但此人奸謀難算。突厥一向言而無信，惟利是圖，居心叵測。太原是一方都會，我軍將士的家眷都在那裏，不如先救根本，再圖後舉。”
李世民卻不以為然，說：“現在已近秋季，稼禾遍野，不必為無糧憂愁。宋老生雖然據險霍邑，但他生性輕躁，無勇無謀。李密顧戀倉粟，不會遠離東京西進。至於突厥欲襲晉陽一說，文靜公還沒回來，不知實。隋，所以不能偏信謠傳。歸到根本，我們既然舉興大義，奮不顧身以救蒼生，就當先入長安，號令天下。如果退還太原，據守一城之地，豈不與盜賊流寇一樣了嗎？”
李淵的長子李建成也附和說：“二弟說的有理，不能撤回太原。”可是李淵已下定北還的決心，不再聽兩個兒子勸說，催促左右兩軍立即準備，相繼出發，返回晉陽。
入夜，李世民與大哥李建成聚在一起，越覺得撤回太原定敗無疑。情急之下，李世民決意進帳再諫。
李淵剛剛睡下，忽然聽到帳外有人放聲慟哭，再細聽，竟是李世民。李淵趕緊召李世民進帳，問他：
“出了什麼事，值得你深更半夜的號啕痛哭？”
李世民擦擦眼角的淚水，說“父親，軍中兵勇都是為義舉大事而來，所以才有今日的士氣。聽說父親下令北還，許多人都暗中計議要解甲而去。如今的情勢是進戰則勝，退還則散。此處距霍邑僅五十裏，萬一在回太原途中士卒四散，宋老生必乘機追討，那我們隻有死路一條了。想想我們興師動眾，將要落得這樣的悲慘下場，我怎麼能不悲慟呢！”
李淵一聽，才猛然醒悟，後悔不迭地說：“哎呀，我怎麼就沒想到這一層呢！可是，軍隊已經出發，這可怎麼辦？”
李世民說：“右軍嚴陣以待，還沒有走。左軍雖走，這種天氣裏也不會去得太遠，請父親下令讓我去追他們回來。”
李淵笑笑說：“還用下令麼？我看明白了，此次大事成敗都在於你。你看怎麼辦好就怎麼辦吧。”
李世民轉身出帳，與李建成一起，連夜催馬向北追去。