魏元忠這句話，既是在為太子鳴冤，又是在替自己的兒子叫屈，顯然是“大逆不道”之言。中宗念在魏元忠是三朝元老，而且又是自己的東宮舊屬，所以不予追究。然而，後黨骨幹宗楚客、紀處訥等人卻死死抓住魏升參與政變的把柄，指控魏元忠與太子通謀，奏請中宗“夷其三族”。當然，李顯馬上否決了宗楚客等人的奏議。
雖然有皇帝保他，可魏元忠還是強烈意識到了自己處境的危險。為了讓自己的“三族”數百口人免遭滅頂之災，魏元忠不得不主動遞交了辭呈。
李顯知道魏元忠老了，再把他留在朝中也沒多大意義，所以沒有挽留他，而是讓他以特進（正二品散官）的官職致仕，並保留每月初一、十五兩次進宮朝見的權利，算是給了他相當高的離休待遇。
首席宰相魏元忠一倒，後黨的勢力立刻崛起。
太子政變後不過兩個月，宗楚客、紀處訥便同時拜相，進入了帝國的權力中樞。
由於擔心魏元忠卷土重來，宗楚客等人隨後一再上奏中宗，一意要置魏元忠於死地。
率先出招的是剛剛被宗楚客提拔為禦史中丞的姚廷筠。他在奏疏中說：“想當年，侯君集雖然是開國元勳，可當他謀反的時候，太宗向群臣求情想饒他不死，群臣堅決不同意，太宗也隻好含淚將他處斬；其後房遺愛、薛萬徹、齊王李祐等人叛亂，雖是至親，皆依國法處分。元忠功勳不及君集，身份不屬國戚，兒子名列叛黨，自該滿門抄斬，把家宅夷為池沼！陛下仁慈，難免受其迷惑，故一再掩飾他的罪過。臣今日不惜觸犯龍麟，忤逆聖意，實在是因為此事關係到社稷大業！”
姚廷筠的一番話說得有理有節，大義凜然，李顯無力反駁，隻好退了一步，命大理寺收押魏元忠，隨後貶為渠州（今四川渠縣）司馬。
緊接著，已升任給事中的冉祖雍再度發飆，上奏說：“魏元忠既然犯了大逆不道之罪，就不應該授予他渠州司馬的官職。”與此同時，同為後黨成員的侍中楊再思和中書令李嶠也隨聲附和，要求嚴懲魏元忠。
李顯忍無可忍，終於發火：“元忠為國效力多年，朕才特意赦免他，詔書已經發布，豈能一改再改？更何況，裁決之權理應在朕的手中，你們上奏個沒完，是不是成心為難朕？”楊再思等人從來沒看過皇帝發怒，頓時大為惶恐，一再磕頭謝罪。
然而，魏元忠一日不死，宗楚客便一日不肯善罷甘休。不久，他再次授意監察禦史袁守一上疏：“重俊是陛下的兒子，尚且加以罪刑昭明國法；元忠既非元勳亦非國戚，豈能單獨逃脫法網？”
這句話顯然戳到了李顯的痛處。
他不得不再退一步，把魏元忠貶為務川（今貴州沿河縣）縣尉。
盡管一退再退，可李顯的底線也非常明確——無論如何都要保住魏元忠一條命。
宗楚客仍不死心，命令袁守一再奏：“則天太後當年臥病上陽宮，狄仁傑請求由陛下監國，可魏元忠卻上密奏反對，這證明魏元忠心懷逆謀，為時已久，請將他處以極刑！”
李顯沒好氣地說：“依朕看來，人臣事主，必須一心，豈有主上小疾，就馬上請太子主持政務？這是狄仁傑想討好我，不見得魏元忠有錯，你袁守一怎麼可以借以前的事情陷害他？”
就這樣，中宗李顯再次把誅殺魏元忠的聲浪壓了下去。
可是，魏元忠最後還是死了。
因為他已經年邁體衰，再也經不起這種一貶再貶的折騰了。魏元忠沒有走完他的貶謫之路，而是中途死在了涪陵（今重慶涪陵區）。
目睹老臣魏元忠的淒涼結局，正直的朝臣無不感到義憤填膺。
然而，他們也隻能敢怒不敢言。
因為，韋後一黨的強勢崛起已經沒有任何力量可以阻擋。