李世民在最後幾年裏因為怕死，居然相信了那些騙子道士，最後因為亂吃丹藥而亡，時年才五十歲。李世民一駕崩，諸王都趕回了長安。
之後，太子李治登基，次年改年號為永徽。李世民一死，李愔他們這些皇子的靠山也就沒有了，剩下的隻是一個尊貴的王位罷了。
回到封地之後，李愔還是悶悶不樂，因為現在他已經是無父無母了。而且，新皇登基之後，王府裏的很多官員都換了，比如之前的許典軍已經換成了楊道整。很明顯，這些都是新皇李治的人，而李治又被長孫無忌控製著。這些人員的變化，連鄭薇都感覺出來了，不過李愔卻沒有理這些，本來他就是愛玩鬧，從來不理會這些官員的變動。
因為心情不好，李愔就陰著臉，帶著人馬出去打獵。而新來的典軍楊道整卻騎著馬來攔著他的馬說：“大王，現在打獵有違農時。”
“給孤讓開！”李愔還是陰著臉說。
“大王，現在不是遊獵的時候！”楊道整還是喋喋不休地勸說著。
李愔的耐性也就到盡頭了，跳下馬了，走到楊道整的馬前，一把將他拖下了馬，然後再打了一頓之後，才泄了氣，又帶上人馬去打獵。
但是這件事卻被參了一本，而現在的皇帝也不是他的親生父親了，不會這般容忍他的胡鬧，所以，被一道聖旨貶到黃州去做刺史。
而李愔對這還是很不屑，反正他早就想挪地方了，於是，二話不說立刻帶著一家老小浩浩蕩蕩地出發去黃州。日子還是過得這般瀟灑，長安的局勢變化與他完全沒有關係。
永徽四年，這件事還是發生了，因為房遺愛謀反案，長孫無忌順勢將李恪也牽扯進來，李元景、李恪、房遺愛、高陽公主、薛萬徹、柴令武、巴陵公主等全部被殺。
李恪在離開王府之前，就交代其續弦妻子蘭陵蕭氏，好好照顧孩子。然後就告訴了他的長子李仁，“你身為兄長，無論發生什麼都應該想盡一切方法保護自己的弟弟，照顧好他們。作為兄長，有苦也得自己咽下去。”
然後就從容去到宮裏，李治讓他上吊而死，留個全屍。在死之前，長孫無忌過來了。
“你親眼看見我死才放心？”李恪冷冷地問道。
“我當然是不放心了。”長孫無忌也是冷冷地說道。
“你害死這麼多人！你不會好死的！”李恪一想到高陽他們也死了，就惡狠狠地說道。
“哦，你想知道你弟蜀王的處罰嗎？”長孫無忌突然奸笑地說。
“哼！你根本就牽扯不到蜀王！”李恪冷冷地回答。
“當然，牽扯到了，因為是你的弟弟！他就要廢為庶人，流放到蜀地，他不是蜀王嗎？也是應該去蜀地待待了。”
“長孫無忌！你居然以血緣關係來定罪！你全家都會不得好死！”李恪已經是罵得語無倫次了，因為李愔受到了他的牽連，活著是活著，但是李愔在蜀地一定會死的。雖然李愔身為蜀王，但也隻在貞觀十年去過益州，但是卻受不了那裏的濕熱氣候瘴氣等等，病得一塌糊塗，之後就回長安養了好久。李世民也沒有將他扔得離長安遠了，都是在長安附近的地方。所以，長孫無忌這招是夠狠的，隻是因為李愔是李恪的胞弟，就直接定罪。
“我現在權力遮天，想以什麼來定罪就定罪，我說你有罪就有罪，哈哈。”
“你竊取大權，殘害無辜！你也不會有好下場的！”
而在黃州的李愔，收到聖旨後，勃然大怒，拿起桌子的杯子之類的東西就砸向宣讀聖旨的人，就連左右來控製他的時候，都費了很大的力氣。而鄭薇不想讓孩子看見這些，就將孩子們全趕進去了。
“愔。”鄭薇隻能抱著他，不知再說些什麼。李愔這才無力地靠在鄭薇的身上。最後，把他扶回房間。