類似魏征這樣的建議，李密部下的一個將領裴仁基在討論會上也提出了。他主張乘王世充出兵東下，洛陽空虛的時候，在兵分兩路攔截王世充東進的同時，派騎兵進攻洛陽，迫使王世充回兵支援，這樣使他首尾難顧，必然能大獲全勝。但是李密很多其他的部下，如單雄信等，輕敵麻痹，要求速戰。李密同意了他們的速戰要求，親率大軍駐紮在偃師城北，列營卻不設壘，準備快速結束戰鬥。結果正如魏征所料的那樣，在王世充的火攻與偷襲下，瓦崗軍全軍潰敗。
瓦崗軍失敗後，在將士潰散、振興無望的情況下，李密迫不得已率殘餘隊伍去長安投奔了李淵。魏征跟李密一同前往。李淵是隋朝的太原留守，當時天下大亂，誰不想在亂世中分得一杯羹呢？於是在他兒子李世民的幫助下，在太原起兵，不久就占領了長安，改國號為唐。
魏征跟隨李密投靠李淵後，也就成了李淵的部下。但是不久，李密因不受重視，借出外執行任務的機會又打出了反唐的旗號，結果被唐剿滅。可想而知，魏征曾經是李密的舊部下，在這種情勢下，他的處境就更是惡劣了。為了改變這種現狀，更是為了取得李淵的信任，魏征自告奮勇，願出使太行山以東地區，收降當時據守在黎陽（今河南浚縣東北）的實力較大的瓦崗軍的殘餘部隊。李淵為了更快地統一全國，當然對魏征的這個提議非常讚同，於是就任命魏征為秘書丞（管理國家檔案圖書的官），去完成這個任務。當時駐守在黎陽的是徐世勳，他和魏征都曾是李密的部下，所以兩人當然是老相識了。
當魏征到了黎陽之後，就給徐世勳寫了一封信，信上說：
“自隋末天下大亂以來，群雄逐鹿中原，一時間有勢力的隊伍數不勝數。想當初，李密率瓦崗軍起兵反對隋朝的時候，號令一出，天下雲集響應，很短的時間內幾乎控製了隋朝的半個天下。結果後來，被王世充戰敗，元氣大傷，隻好投靠了李淵。現在瓦崗軍的主力已經不複存在，您可以倚靠的根基都不存在了，當務之急，您不該看清形勢，重新選擇嗎？再說現在李淵占據關中寶地，曆來此地都是兵家取勝之地，如漢高祖劉邦等，再加上李淵的部隊兵強馬壯，得天下隻是早晚的事了。再來說說您的處境，您現在所占據的黎陽，是取天下者必爭之地，您現在應早些認清形勢，作出打算，如若不這樣，您將會後悔莫及啊。”徐世勳看了魏征的信，覺得很有道理，又聽說李密已經被殺，就決定率部投降李淵。就這樣，魏征沒費一兵一卒圓滿地完成了此次出行的任務。
接著不久魏征又去魏州勸說自己的老朋友元寶藏，勸他一起也歸順了李淵。
武德二年（619年）十月，正當魏征在黎陽為李淵奔走遊說的時候，河北的農民起義軍首領竇建德領兵南下，攻占了黎陽，當時魏征還在黎陽，沒來得及離開，於是成了竇建德的俘虜。竇建德是個在農民起義軍中逐漸成長起來的農民領袖。起義後，因為英勇善戰，而且在戰爭中能和士兵同甘共苦，所以得到了起義將士的一致擁護，勢力逐漸壯大。並在樂壽（今河北獻縣）自稱長樂王，建立了帝製，國號是“夏”。魏征被俘後，竇建德早已聽說過魏征的盛名，就任命他為自己夏國的起居舍人（負責記錄皇帝言行的官）。武德三年（620年）七月，竇建德和李世民在虎牢關展開了一場惡戰。但是竇建德驕傲自大，根本不聽取部下正確的意見，與李世民軍隊在虎牢關采取正麵決戰的行動，以十萬之眾對抗李世民的數千騎兵，結果被李世民的騎兵擊潰，竇建德本人也被俘獲。魏征乘亂又逃回了關中，回到了長安。
回顧魏征從隋末加入朋友元寶藏的義軍到後來投奔李密的瓦崗軍，後又在竇建德的河北起義軍呆了一年多的時間，魏征前後共度過了大約四年的軍旅生涯。尤其是後兩次在農民起義軍中的兩年多的活動中，使他對下層民眾的要求、疾苦和社會狀況都有了更深刻的了解。
這段時間雖然不是很長，但對他今後一生的政治思想的形成，都產生了重要的影響。