四易其主擇木而棲
魏征回到長安後，因為又當了一段農民起義軍竇建德的部下，所以當然就更不受重視了。這時李淵的太子李建成看中了魏征的才學，把他招為自己的幕僚，封了他個太子洗馬的職位。這是太子東宮主管經籍圖書的一個小官，沒有什麼實權可言。但是太子是未來皇位的繼承人，一旦即位稱帝，那東宮的官吏們就都可以沾上光了。
所以魏征對李建成的知遇之恩還是非常感激的。因為是在自己最不得意的時候受到了太子的提拔，認為這次是找到了賞識自己的明主，決心一定要為太子盡忠盡力。
這時宮中為爭奪皇位，太子李建成和弟弟李世民之間的鬥爭已經日趨公開化。魏征很為太子李建成的地位擔憂。因為李建成雖然是李淵的長子，是名正言順的皇位繼承人，但多年深居宮中，幫助其父李淵料理宮中的事務，在反隋的鬥爭中，從來沒有帶兵打過仗。而他的弟弟李世民則不同，可謂是馬上的將軍，從李淵在太原起兵反隋的那一天開始，就率軍東征西討，立下了赫赫戰功，在朝中的大臣和將士中享有極高的聲望。兩者相比，雖然李建成貴為太子，但在朝中的實際地位並不穩固，根本的原因就是李建成沒有軍功。於是，在這種情勢下，魏征就給李建成出了鞏固地位的一個主意。因為當時正好竇建德的舊部劉黑闥，又在河北一帶收複了竇建德的一些散兵遊勇，打起了反唐的旗幟。魏征認為，這正是太子李建成借此立功提高自己威望的大好時機。
於是，他向李建成建議說：“現在您的弟弟李世民的軍功最大，在朝中的威望也最高。而您長年在宮中協助您的父親處理政事，沒有李世民那樣顯赫的戰功，若是您日後稱帝，恐怕難以服眾。現在竇建德的舊部劉黑闥又糾集了一些殘兵敗將起兵反唐，他的人數不到一萬，且糧草又不充足。雖然他現在收複了竇建德之前占領的一些舊地，但是不堪一擊。這是一次非常好的機會，您應該向您的父王請戰，去打這一仗，千萬不要錯過這個好機會啊！”李建成接受了魏征的建議，向父親李淵請戰，得到準許後，親自帶兵去攻打劉黑闥。在戰鬥過程中，李建成又接受了魏征的攻心戰術，宣布隻懲治首犯，別的人隻要投降，一律不再追究。劉黑闥的部隊本來就是一個雜牌軍，聽到這樣的話，軍心渙散，哪還有什麼戰鬥力。很快，劉黑闥的部隊很快就瓦解了。隨後，李建成又聽從魏征的建議，在河北一帶安插了自己的親信，收買了當地的豪強，使他們成為自己日後爭權的外援。
至此，魏征的建議取得了圓滿的成果。
不久，皇位爭權的鬥爭日趨白熱化。三皇子李元吉公開支持太子李建成，兩人結成了統一戰線，共同對抗李世民。他們彼此之間的矛盾越來越激烈。此時的形勢正好比是箭在弦上，一觸即發。魏征也感覺到了太子李建成處境的危險。他多次勸說李建成先下手除掉李世民，這樣可保證自己的皇權穩固。但是李建成生性優柔寡斷，又礙於兄弟情麵，始終沒有付諸行動。
高祖武德九年（626年）六月四日，李世民先下手為強，發動了玄武門之變，殺死了太子李建成和支持他的弟弟齊王李元吉，取得了太子的地位。這次宮廷政變對魏征無疑是一次沉重的打擊。
李世民久聞魏征的大名，知道他經常給李建成出謀劃策，而自己也差點被他暗算，於是馬上召見他，質問他：
“你挑撥離間我們兄弟之間的關係，你可知罪？”在這樣的危急關頭，答錯一句話都有可能招來殺身之禍。但已把生死置之度外的魏征麵無懼色，坦然地回答道：“如果當初太子李建成聽了我的話，又怎麼能有今天這樣的下場呢？人都是各為其主，我既然忠於我的主人李建成，請問，這有什麼過錯嗎？春秋戰國時期的管仲不是還曾射中小白（齊桓公）的帶鉤嗎？”魏征回答得不卑不亢，句句有理，義正詞嚴，反倒使李世民無法反駁。李世民平素就很欽佩魏征的才華，現在見他如此率直，引用了管仲輔佐齊桓公稱霸的典故，於是馬上轉變了態度，非但沒有處置他，反而任命他為管事主簿（掌管太子文書的官吏）。即位之後，又立即提升魏征為諫議大夫，專門負責給皇帝提意見。這樣，魏征又踏上了跟隨李世民的政治道路。