李世民在玄武門政變成功後，馬上著手建立以他為中心的唐中央政府。在當時的形勢下，他麵臨著幾個嚴峻問題。首先，玄武門之戰雖然殺掉了太子建成和齊王元吉，但東宮和齊王府集團的殘餘力量還分散各處，尤其在山東地區，有著較強的勢力，成為引起社會不安的重要因素。其次，李世民當皇帝在形式上是由父親唐高祖讓位，武德時朝廷的宰相，特別是支持太子和齊王元吉的大臣，如何處理較為恰當，就成為又一個難題。再其次，李世民依靠秦府的舊黨而起家，他登上皇帝寶座後自然還要依靠這些力量以鞏固其政治地位。但是，李世民做了皇帝後，就不比原先做秦王時，隻要照顧一方麵就可以了，如果還隻是完全依靠秦府原有班底，就不能擴大自己的統治基礎，影響新政權的安定和鞏固。如何處理好這三個方麵的問題，就成為李世民能否穩定和鞏固全國最高統治權的關鍵。
六月初四，李建成和李元吉死於玄武門，宮府集團的黨羽及其武裝力量逃散在長安周圍，四處活動。李建成在山東的親信幽州都督廬江王李瑗和領天節將軍鎮涇州的羅藝都握有重兵，蠢蠢欲動，隨時可能與長安附近的宮府殘餘勢力裏應外合，如何解決這一問題，關係到全國政局的安定。當時，秦府將領中有些人主張乘勝殺盡建成、元吉的黨羽，並抄沒其家；許多人還四處搜尋宮府集團的成員及兵將，爭相捕殺邀功。這使得宮府集團的人惶惶不能自安。在這一事件中立有大功的尉遲敬德頭腦比較清醒，極力反對這樣做，他對李世民說：建成、元吉二位元凶，既已伏誅，若再罪及餘黨，殺人太多，就不利於天下安定了。李世民也及時地認識到這一問題的嚴重性，決定采用明智的安撫政策，來消除宮府集團餘黨的對抗情緒。於是一麵下令禁止秦府人員濫捕濫殺，一麵以唐高祖的名義下詔大赦天下，說“凶逆之罪”，止在建成、元吉兩人而已，其餘黨羽，一概不加追究。赦令一公布，果然秦效。曾率領宮府衛兵進攻玄武門的馮立、謝叔方等人逃亡在外，聽到赦文，第二天即出來自首。薛萬徹開始時不敢出來自首，李世民屢遣使“諭之”，一片誠意，解除了他的顧慮，也自動出來自首了。李世民公開提出，這些人為主子效命，都是忠義之士，並當眾釋放了。馮立、謝叔方、薛萬徹等人也馬上表示願為李世民效忠，散亡在長安附近的宮府兵將，有些人放下武器，自動向朝廷投誠，有些人則銷聲匿跡，不再參預活動了。長安附近的隱患迅速地消除了。接著，李世民又集中力量對付廬江王李瑗和羅藝。
李瑗是高祖李淵堂兄之子，和李世民是同輩兄弟，以宗室在武德元年（公元618年）被封為廬江王，任信州總管。九年（公元626年），累遷至幽州大都督，與李建成結成死黨，企圖在北方策應建成。由於李瑗性格軟弱，唐廷中央又派右領軍將軍王君廓輔助兵事。王君廓參加過農民起義軍，“勇力絕人”，李瑗為了依仗他，結以婚姻，把他作為自己的心腹。李建成被殺後，李世民遣通事舍人崔敦禮召瑗入朝，李瑗心虛，害怕進京後難以自保，因此在王君廓別有用心的支持下，將朝廷派來的使者崔敦禮囚禁起來。李瑗想找燕州刺史王詵商議如何行動的問題。這時，兵曹參軍王利涉對李瑗說：“大王不奉詔進京而擅自發兵，此為反矣。諸州刺史都是朝廷命官，未必都肯聽從，萬一征兵不集，何以保全？”李瑗聽了覺得有理，便問該怎麼辦，王利涉回答說：山東豪酋過去都是竇建德的偽官，現在被廢黜，因此人心思亂，若旱苗之望雨。大王宜派使恢複他們的原有官職，讓他們在其本地統兵，諸州如有不從，即加以誅戮。此計得行，河北之地便可呼吸而定。然後派王詵北連突厥，自太原南臨蒲、絳；大王則整駕親征洛陽，西入潼關。兩軍合勢，不出三個月，天下可定。王利涉對山東形勢的分析有一定道理，李瑗欣然采納了他的建議，準備依計而行。可是由誰掛帥統領大軍呢？王利涉建議李瑗除掉王君廓，將兵權交給王詵，因為王君廓曾隨李世民東征作戰，頗受龐信，加上其為人“多反複”，“素險薄”，所以不可信任。對此，李瑗一時為難，猶豫不決。不料消息被王君廓探知，他當機立斷，搶先下手將王詵殺死，並當眾宣布說：李瑗與王詵扣留朝廷使者，擅自發兵，圖謀反叛，今王詵已被斬，李瑗個人沒什麼能耐，你們要是跟他幹，難逃兵敗族滅的下場。何去何從，好生選擇。部眾聽了皆願跟王君廓討伐李瑗。這時，李瑗還蒙在鼓裏，不知事有變化，及至王君廓率領一千多人從獄中放出使者崔敦禮，李瑗才如夢初醒，匆匆糾集數百名兵士披甲執銳，衝出門外，剛好與王君廓軍遭遇。王君廓大聲對李瑗部眾說：李瑗作逆誤人，你們為何要盲目相從自取塗炭！李瑗兵卒聽到王君廓的話，紛紛倒戈潰散，李瑗眾叛親離，孤立無援，當即被王君廓殺死。廬江王的謀叛就這樣結束了。
李建成的另一親信羅藝，原是隋朝舊臣，趁隋末大亂據幽州起兵，自稱幽州總管，武德三年歸唐，封為燕王，賜姓李氏。羅藝本是位“勇於攻戰，善射，能弄矟”的武將，然“性桀黠，剛愎不仁”，“任氣縱暴”，十分凶暴。李世民東征劉黑闥時，羅藝曾率領部眾數萬從戰，頗有戰功。第二年複將兵隨李建成鎮壓劉黑闥，被李建成拉攏，結成死黨。經李建成推薦入朝，拜為左翊衛大將軍。羅藝倚勢跋扈，與秦王府作對，李世民手下的人跑到他的營地，他竟無故毆擊。後被高祖李淵調出京師，以本官領天節將軍鎮涇州。李世民即位後，為了穩住羅藝，任他為開府儀同三司。可是羅藝仍不能不安，於是詐言檢閱武裝會集各路諸軍，到時又假稱奉朝廷密詔麾兵入朝，率眾軍離開涇州赴豳州，豳州守臣趙慈皓不知羅藝謀反，出城拜謁，羅藝乘勢開入豳州。唐太宗聞報即命吏部尚書長孫無忌、右武候大將軍尉遲敬德率眾討伐。討伐大軍還未到達，趙慈皓與統軍楊岌合謀準備趕走羅藝。羅藝察覺，即將趙慈皓關入獄中，在城外的楊岌立即率兵進攻羅藝，羅藝大敗，拋下妻子兒女，急急忙忙帶領數百騎逃往突厥。行至寧州界，過烏氏驛，隨從的幾百人逐漸逃散，羅藝自己被左右的人殺死，傳首京師，羅藝的叛亂就這樣迅速被平定了。
李瑗、羅藝之流貿然舉兵叛亂，最後都由於內部瓦解、部眾倒戈而兵敗身亡，這就從一個側麵反映了李世民安撫政策的成功。至此，宮府集團殘餘的武裝力量全被清除了。
宮府集團中有許多謀士，如魏征、王珪、韋挺等人，都是非常具有才幹的有識之士，並且都為建成、元吉出謀獻策加害李世民，所以李世民對他們不能不有所忌恨。玄武門之變後，李世民先把魏征找來，一見麵就責問道：你為何要離間我們兄弟？當時在場的大臣以為李世民宿怨未釋，要趁機殺魏征，暗中都為之捏一把汗。但是魏征正確分析了形勢和李世民的態度，所以也不避鋒芒，從容答道：太子要是早先聽魏征的話，也不會有今日之禍了。果然，李世民聽了之後不僅不生氣，相反對魏征很器重，馬上“改容禮之”，並立即任命他為詹事府主簿。同時又把正流放在酅州的王珪、韋挺召回，與魏征同任諫議大夫。
魏征、王珪等的被重用，為醫治玄武門事變的後遺症，起了良好的作用。當時赦免官府集團餘黨的詔令公布後雖曾收到一些效果，但事隔一月，仍不時有“徼幸者爭告捕以邀賞”，使得一大部分宮府集團的餘黨，雖經赦免，仍不能安心。王珪向李世民報告，建議采取有力措施解決這一問題，李世民接受了這一意見，立即下詔宣布：“六月四日已前事連東宮及齊王，十七日前連李瑗者，並不得相告，違者反坐。”詔令一下，就及時製止了告捕宮府餘黨的這股風。但山東地區的宮府餘黨還十分不安，魏征對李世民說：如果不以公心告示天下，恐怕禍不可解。世民當即委派魏征為特使宣慰山東，“聽以便宜行事”，給了他很大的處理權力。魏征等人來到磁州，遇到原太子千牛李誌安、齊王護軍李思行，正被枷鎖押赴京師。原來地方的州縣官吏已將宮府餘黨抓了起來。魏征見此情況，對副使李桐客說：我們受命離京的時候，前東宮、齊府左右，都已被赦免，今又押送李思行等，誰還相信朝廷的政令？我們做特使不能徒有虛名，見錯不糾，否則失卻信義，豈不差之毫厘，謬之千裏。於朝廷有利的事，理當知無不為，寧可個人擔風險，不可誤了國家大計。何況這次出巡，已被許以便宜從事，主上既以國士相待，我怎可不以國士相報呢！當場下令將李誌安、李思行釋放。這件事，魏征確實擔了很大風險。一來李誌安、李思行是建成、元吉的親信，可以說是要犯；二來魏征畢竟是一個降臣。像這種大事，先行決定然後上奏會不會引起太宗的疑心呢？但是，魏征出使完畢回到京師，將此事麵奏時，李世民非但毫無責怪之意，而且十分高興。因為魏征的這種做法正是貫徹唐太宗政策的表現。