魏征在天下紛亂的時候，曾經感到茫然而出家當了道士，舊日的好朋友，隋武陽郡的郡丞元寶藏起兵反隋後，請他出山，掌管軍中的文書，瓦崗軍的李密極為賞識魏征的才華，又把他請去掌管軍中的文書。後來李密的瓦崗軍與據守洛陽的隋朝大將王世充展開生死搏鬥，結果被勝利衝昏了頭腦的起義軍想速戰速決，反而被王世充火攻加奇襲，徹底擊敗。李密不得不率殘部投降李淵，不久又在洛陽一帶招撫舊部，重新起兵，反對李淵，兵敗被殺。被魏征招撫李密的舊部徐世績在征得了李淵的同意之後，以國君之禮葬了李密。魏征則為李密撰寫了《唐故邢國公李密墓誌銘》，把他比作垓下失敗的項羽，意即雖然失敗，也還是一位大英雄。魏征如此評價李密，竟不怕李淵的追究，對李密，他也不以屢次拒納正確建議為忤，而是實事求是地描述他的一生。他的這種態度和精神，得到了時人和後人的讚揚。
太子李建成聽說魏征既有才華又有才能，就把他找來，封他為太子洗馬，負責管理圖書經籍。魏征雖有文名，實際上並未發揮多大的作用，而他給李建成提過很多對付李世民的建議，都石沉大海，沒有什麼回音。
李世民發動“玄武門之變”後，召見了這個有才華的魏征，並責問他說：“你為什麼挑撥我們兄弟間的關係呢？”魏征理直氣壯地回答說：“人各為其主。如果太子早聽信了我的建議，就不會遭到今天的下場了，我忠於李建成，是沒有什麼錯的。管仲不是還射中過齊桓公的帶鉤嗎？”
李世民聽他說得既坦率又有理，尤其他舉出了管仲射小白的曆史故事，自己更不能顯得連齊桓公小白重用仇人管仲的氣度都沒有，就赦免了他，並封他做掌管太子文書的管事主簿，至此魏征結束了他轉來跳去的更換主人的生涯，開始了他一生真正有價值、有意義的時代。
李世民即位後，將魏征封為諫議大夫。諫議大夫的職責是專門向皇帝提意見，唐太宗任命魏征為諫議大夫，表現了唐太宗對他的才能的認可和對他本人的信任與尊重，後來又把他提升為尚書丞，就更能使他隨侍左右，時時處處提醒規勸皇帝了。
貞現初年，唐太宗雖然已經即位做了皇帝，但社會矛盾仍然十分尖銳，特別是在地主階級內部，還存在著對唐太宗統治不滿的保守勢力。為尋求最佳治國方案，唐太宗號召群策群力，集思廣益，各抒己見，通過廣泛的辯論統一思想。
唐太宗的確是一位願意提倡君臣之間的“民主生活”的皇帝，他建立了前朝所沒有的新製度，允許諫官、史官參加政事堂會議，規定在會議之上，不管是皇帝還是大臣，如有過失和不當之處，諫官可當麵指出，予以辯論。這種製度不僅能夠保證諫官、史官能夠及時了解朝政的。內幕，使得有所勸諫，還起到了一定的監察作用，使宰相及其他官員不敢謊報政績。
魏征就是在這種相對寬鬆自由的環境裏做諫官的，他勸諫的內容從長治久安的軍國大計，直到皇帝個人的起居生活，涉及許多方麵，對唐太宗及唐朝貞觀年間的政治，可以說發生了很大的影響。
公元637年，唐太宗出巡洛陽時，在顯仁宮停留，因宮苑官員安排照顧不周，唐太宗便大加責罰。魏征批評唐太宗說：“隋煬帝就是因奢侈無度亡國的。現在因為供應不好就發脾氣，以後上梁不正下梁歪，拚命供奉陛下以求陛下滿意。供應是有限的，而人的奢侈欲是無限的，如此下去，隋朝的悲劇又該重演了。”唐太宗無言以對，隻好表示今後再不發生此事。
魏征的批評方式無情而嚴厲，也常常使唐太宗受不了。一次，魏征的話又刺痛了唐太宗，唐太宗氣憤地回到宮內，對長孫皇後說：“朕一定要找機會殺掉魏征這個鄉巴佬！”長孫皇後聽後，連忙回去換了一身朝服，恭恭敬敬地跪下。太宗十分驚訝，慌問其故，皇後說：“我聽說隻有聖明的君主才能有正直的臣下；現在魏征犯顏直諫，全是由陛下的英明所致呀，我怎會不為您感到高興呢？”太宗聽了，十分欣慰。
唐太宗畢竟是一位明君，他雖然也像常人一樣，喜歡聽順耳諛辭，不喜歡聽逆耳忠言，但他還是能克製住自己的感情，保持較為清醒的頭腦，所以，他對魏征既尊重，又尊敬。
有一次，唐太宗趁魏征回鄉掃墓的機會，準備去山南一帶“旅遊”一趟。一切準備妥當了，卻又怕魏征回來後責怪，最後還是沒有去。還有一次，太宗得到一隻鷂子，非常喜歡，正抱在懷裏撫玩。正巧魏征來見，太宗忙將那小寵物藏進衣服裏。魏征故意拖延時間。待魏征告辭，鷂子已經悶死了。
魏征也很重視唐太宗個人的品德修養。他曾引用苟子的話勸諫唐太宗說：君主好像舟，人民好像水，水能托肘，亦能覆舟。這句話對唐太宗震動很大，他牢記在心，並用這句垂誡太子，讓他永遠不要忘了。
最著名的，是魏征關於忠臣和良臣的見解。有一次，唐太宗聽信讒言，批評魏征包庇自己的親戚，經魏征辯解，唐太宗知道自己錯了。魏征趁機進言道：“我希望陛下讓我成為一個良臣，不要讓我做一個忠臣。”唐太宗驚訝地問：“難道良臣和忠臣有區別嗎？”魏征說：“有很大區別。良臣擁有美名，君主也得到好名聲，子孫相傳，千古傳芳；忠臣得罪被殺，君主得到的是一個昏庸的惡名，國破家亡，忠臣得到的隻是一個空名。”唐太宗聽後，十分感動，他連聲讚好，並賜給了他好絹五百匹。