反觀長孫無忌的態度，武則天進寸，他就退尺。李義府猖狂得勢，長孫無忌沒有抑製他的言行，武則天立嫡子為太子，他也沒爭。如此退守，將來更大的事就更難爭了。經過反複的鬥爭，至顯慶四年初，親武後勢力在朝中形成，關隴集團土崩瓦解，隻剩下太尉長孫無忌這一個孤家寡人了。扳倒長孫無忌，最大的阻力恰恰是武則天的夫君高宗李治。李治雖然不想在舅父的羽翼下當聽命受教的恭順皇帝，但讓他去除掉元舅，那是非常困難的事。永徽初年，洛陽人李弘泰曾經告發長孫無忌謀反，高宗接到狀紙，根本問都不問，就下令將李弘泰斬首。但此時已非彼時了。
顯慶四年（公元659年），武則天把矛頭對準了長孫無忌。四月，洛陽人李奉節狀告太子洗馬韋季方、監察禦史李巢朋黨一事，許敬宗主動請求會同辛茂將進行審理。兩位主事的宰相親自審訊一起一般官員的朋黨案，自然是醉翁之意不在酒了。因為韋季方是長孫無忌的門生故舊，所以許敬宗趁機想挖出點什麼來。審案時，大理寺官員秉承許敬宗的旨意，讓韋季方誣陷長孫無忌同謀犯罪，如果這樣就可對他從輕發落。韋季方深感不妙，抵死不認，尋機自殺，結果未死成，在獄中奄奄一息。許敬宗見從他身上不能獲取證據，又看他橫豎已經沒命了，便向高宗誣奏說：“韋季方欲與長孫無忌構陷忠臣近戚，使權歸無忌，伺隙謀反。現在怕事情暴露，所以自殺。”怕高宗不信，又將從韋季方身上搜得的一封私信交給高宗，說：“這封信是題給趙師的。趙師，即長孫無忌也，陰為隱語，欲陷忠良，以伺機謀反。”這個對於武則天、許敬宗等人來說是蓄謀已久的計劃，對於高宗來說，乍一聽說國舅謀反，還是大驚不已，不能相信。他又讓侍中辛茂將再去核實，辛茂將是許敬宗的心腹，他偵察的結果當然與許敬宗說的完全一樣。高宗還是不信，說：“辛茂將愚蠢無用，所奏不可聽信。舅父絕不會做此等事。舅父為小人挑撥，可能有些疑慮，怎麼會到謀反的地步呢？”但既然人證物證俱在，高宗有些不知所措了，情急之下忍不住哭了起來：“我家真是不幸，親戚之間屢有異心，往年高陽公主竟與房遺愛謀反，今天母舅也這樣，我還有什麼臉麵見天下之人啊！如果此事果然是真的，我將怎麼辦啊！”
許敬宗深恨長孫無忌等的飛揚跋扈。他見高宗已是半信半疑，就鼓起如簧之舌，說道：“房遺愛隻是一個乳臭小兒，與一個女子謀反，成得了什麼氣候！長孫無忌就不同了，他以前與先帝謀取天下，天下都佩服他的智謀；後來他當宰相三十年，天下害怕他的威勢；如果哪一天悄悄舉事，陛下派誰去能抵擋得了他呢？今幸好宗廟有靈，因按治一件小事，得到大奸人的陰謀。這是天下之大幸！臣竊恐長孫無忌知道韋季方自殺之事一時窘急，鋌而走險而發動叛亂。他舉臂一呼，一起作惡的人都雲集起來，必為宗廟社夜之憂啊！陛下不見隋朝嗎？宇文化及的父親是宰相，弟弟娶了公主，手握禁兵，隋煬帝對他一點也不懷疑，委以朝政。宇文述死後，宇文化及又統領禁兵。一夜之間，就在江都作亂，先殺不附己者，臣的家也遭其禍亂。於是大臣蘇威、裴矩等人，都急忙服從他，等到黎明，隋朝江山就斷送了。前事不遠，望陛下吸取教訓，速作決斷。”巧舌如簧的許敬宗把無忌和太宗時的叛臣房遺愛相比，又和隋朝的宇文化及相比，似乎一場江都之變式的大難，已經迫在眉睫，皇帝將被殺死。而要殺死皇帝的，就是長孫無忌。
次日，許敬宗啟奏皇上：“昨夜韋季方已承認與長孫無忌謀反之事。臣又問韋季方：‘長孫無忌與國至親，兩朝受寵，有什麼怨恨要謀反呢？！’韋季方答：‘韓瑗曾告訴長孫無忌說，柳奭、褚遂良勸立梁王為太子，今梁王既廢，皇上也疑心你，所以把高履行外放出去。從此，長孫無忌很憂慮，日夜尋思自安之計。後來見長孫祥又被外放，韓瑗又得罪，所以日夜商量與我等謀反。’臣參驗他說的話，都很符合實情。請依法收捕長孫無忌。”
這番話是針對高宗疑慮的心理事先精心編排好的，高宗不由自主就相信了。高宗被謀反的預警嚇昏了，同意將無忌削去官爵。
後人常以此為例，認為高宗是個糊塗人，很容易就被臣下騙了。當然，高宗不比他的父親太宗明察秋毫、天威難測，但關鍵的原因還在於許敬宗在雄辯中點出了隋唐皇位繼承中令統治者寢食難安的一大心病。隋代在皇帝繼承問題上，未能實行嫡長子繼承製。隋文帝廢長立次，他去世後五子楊諒在太原發動政變，在隋朝留下陰影。因為政壇上沒有長子必然繼承皇位的觀念，所以名義上是有德者居之，實際上則是有力者稱雄。隋末群雄並起，自立為帝，以及隋煬帝以一國之尊被弑，都給統治者“能者為王”的危機感。
唐初李世民兄弟發生流血政變，始取得政權。李世民又將宗室降爵為郡公，唯有功者封王，將其兄弟李建成、李元吉的下一代全部殺掉。李世民對待宗室的態度，還可以通過貞觀元年涼州都督李幼良伏誅一事看出大概。李幼良是李世民的叔祖。有人告他養死士，李世民便派出中書令宇文士及調查此事，查證屬實後便把他殺了。用中書令去調查邊境將領是否養了亡命之徒，可見李世民對此事的重視，也可見他所受到的威脅。