長孫無忌對唐太宗的某些不當的措施，並不盲從，而是大力諫諍，直到唐太宗改弦更張，方始罷手。唐太宗將九兒子李治立為太子不久，又想立三兒子李恪為太子。長孫無忌認為太子無過錯，不能輕易變動。唐太宗這才打消了再廢太子的想法。
貞觀二十三年，唐太宗病危之時，把太子托付給了長孫無忌和中書令褚遂良，命他二人輔佐太子治理天下，並把他倆比作霍光和諸葛亮。這樣，長孫無忌成為太宗托付輔佐太子新君李治的第一顧命大臣。
唐高宗李治繼位後，改元永徽。長孫無忌和褚遂良盡心輔佐，治國之策主要出自長孫無忌，李治“無不優納之”。史家譽為“永徽之治”，仍有貞觀之遺風。君臣間和諧無隙，長孫無忌的地位和所得殊榮與貞觀年間相比更是有過之而無不及。高宗曾多次“親幸”長孫無忌家中，封其愛妾所生三個幼子為朝散大夫，命人獨畫長孫無忌之像並加讚語……這些都是永徽五年（654）以前的事。長孫無忌一生的仕途和顯赫的地位在此達到頂峰。此後，圍繞高宗立武則天為皇後一事，長孫無忌開始交了惡運。
交惡招禍端
武則天，因頗有姿色，十四歲入宮為才人，後為昭儀，很得太宗喜歡。太宗死後，武則天入感業寺為尼。李治即位後，又把她接回宮中。
永徽六年，高宗要廢掉王皇後冊立武則天為皇後。長孫無忌認為不可，堅決反對，其他大臣韓璦、來濟等人也持同樣態度。理由是武則天曾服侍過先帝太宗，如立為新帝皇後，不合封建人倫道德標準，再者高宗的王皇後是先帝太宗為他所娶，又是名門望族，且無過錯，不可廢掉。然而，頗富權術的武則天則竟將親生女兒掐死，誣為王皇後所為。從此，高宗對王皇後更為不滿。
高宗為達到廢王皇後的目的，秘密派人給長孫無忌送去金銀寶器各一車，綾錦十車，希望以此令長孫無忌改變態度。與此同時，武則天的母親楊氏還親自到長孫無忌家中，請求無忌答應並分析利害關係，但長孫無忌始終不答應。
一天，高宗為廢立皇後之事召集褚遂良、於誌寧和李勣等文武大臣計議，李勣托病沒有出席。高宗說：“王皇後沒有生過一男半女，作為皇後，其罪大，難道不該廢掉嗎？”褚遂良第一個挺身而出，明確表示反對。高宗很不高興。第二天，複議此事，褚遂良又說：“陛下如果一定要改立皇後，請選擇其他世家女子，武昭儀侍候過先帝，並受恩寵，現在如果立她為皇後，怎掩天下人的耳目啊！”褚遂良說完就把大臣上朝奏事時用的笏板放在殿階上，叩頭流血，以示抗爭，並說：“將此笏板還給陛下，我請求回老家去了。”高宗惱羞成怒，令人將褚遂良趕走。武則天聽後恨得咬牙切齒，從幄帳後大喊：“為何不殺此老賊！”這時，長孫無忌抗議道：“褚遂良為顧命大臣，即使有罪，按規定也不能加刑，何況無罪！”於誌寧也反對立武則天為皇後，但他為人謹慎，始終不敢講一句真話。高宗感到很為難，就秘密私訪當時手握兵權的李勣，試探性地問他：“我想立武昭儀為皇後，長孫無忌、褚遂良這兩個顧命大臣都說不可，你認為如何？”李勣當即答道：“廢立皇後，這本是陛下家裏的事，沒必要問外人！”表示支持立武則天為皇後。另外，支持高宗立武則天為皇後的，還有兩個人。一個是禮部尚書許敬宗，一個是中書舍人李義府。
永徽六年，經過一番激烈的鬥爭，武則天終於當上了皇後，王皇後被廢，其母家官爵被奪，原來的太子也被廢。武則天當上皇後，漸漸參政攬權。高宗本來就庸儒，加上患了中風，漸漸放權怠政，時人都知朝中有皇帝皇後“二聖”。當武則天和支持她的許敬宗、李義府等一夥人羽毛豐滿，權勢已成時，被武後恨之入骨的長孫無忌等元老重臣便必然要受害了。
主暗臣奸遭死罪
顯慶四年（659），禮部尚書許敬宗按武則天的旨意，向唐高宗遞上一份誣告監察禦史李巢與長孫無忌相互勾結“謀反”的密封奏折，高宗下令讓許敬宗和侍中辛茂將拘捕了李巢，昏庸的高宗不加認真分辨，對長孫無忌也懷疑起來，他感慨地說：“我家真是不幸，親戚中屢有壞人壞事發生。高陽公主與朕關係很好，前些年卻與其夫房遺愛（房玄齡之子）謀反，現在我舅父又起惡心，近親竟都是這樣，真使我慚見天下百姓。”許敬宗乘機煞有介事地說：“房遺愛是個乳臭未幹的小兒，與妻謀反，怎能成氣候？可長孫無忌就不同，他與太宗皇帝一道打天下，人們都佩服他有智謀；他當了三十年的宰相，百姓都怕他。長孫無忌有智謀又有威信，他的一舉一動可關乎大局。臣怕長孫無忌知其事暴露就要跳出來，他抖動袍袖一呼，很多人就會跟著他一起幹，必定會成為宗廟社稷的深憂大患，願陛下明斷。我看近日將他收捕起來，繩之以法，破除其家，方能免除後患。”聽到這裏，高宗竟然邊哭邊說：“我不忍心處分長孫無忌，給他加罪，後代史官會說我不能和親戚好相處的。”言語之間，主要是為自己開脫。許敬宗這時卻緊迫不放，他引證曆史故事，說：“漢文帝是西漢的明君，薄昭，也是他的舅舅，跟隨文帝從代郡（今山西雁門）來到長安，也有大功，與長孫無忌比毫不遜色。隻因薄昭殺人，文帝以國法重於甥舅之私情，下令讓朝中大臣們穿著孝服到薄昭的院子裏哭他，隨後讓他自殺。史官不僅不認為文帝做得不對，反而還加以讚揚。現在是長孫無忌忘掉了先帝和陛下對他的大恩大德，背叛了陛下，他意在推翻社稷，比起薄昭的罪惡要大得多，按其罪惡應該誅滅五族。臣聽古人說，當斷不斷，反受其亂。謀反大案，處理要刻不容緩，如果稍有延遲，即生變故，請陛下趕快決斷。”被許敬宗的謊言說得團團轉的高宗，越聽越覺得問題嚴重，竟然不親自問一問長孫無忌是否真有此事，也不與李巢對證，就完全聽信了許敬宗的誣陷之辭。既無人證，也無物證，就定長孫無忌為“謀反”大罪，下令罷除長孫無忌的一切官爵，把他流放到黔州（今四川彭水縣）。