褚遂良的建議是不錯的，但唐太宗已不像早年那樣虛心納諫，再加上李那一席捧皇上貶群臣的挑撥話，更使得唐太宗固執己見。當時，君臣普遍不同意太宗親征高麗，但唐太宗一概不接受勸諫，他說：“八堯、九舜、不能冬種，野夫、童子，春種而生，得時故也。夫天有其時，人有其功。蓋蘇文淩上虐下，民延頸待救，此高麗可亡之時。議者紛紜，但不見此耳。”
唐太宗下令造船募兵，以張亮率水軍渡海擊平壤，李率步兵、騎兵出遼東。大臣李大亮病故，遺表請求罷兵，太宗不聽。十九年春，唐太宗從洛陽出發，率大軍赴遼東，並下令：“朕發定州後，宜令皇太子監國。”久不問政事的尉遲敬德也進諫說：“陛下親征遼東，太子在定州，長安、洛陽心腹空虛，鞏有玄感之變。且邊隅小夷，不足以勤萬乘，願遣偏師征之，指期可殄。”唐太宗沒有采納，卻讓尉遲敬德隨行。
唐太宗讓房玄齡留守長安，蕭留守洛陽，太子李治鎮守定州監國，由高士廉、劉洎、馬周等輔佐太子。唐太宗自率長孫無忌、岑文本、褚遂良等人領大軍而行。行至幽州，積勞成疾的岑文本暴病身亡，唐太宗又招許敬宗隨行。
貞觀十九年四月，李率兵渡過遼水，先後攻占了蓋州、遼東等城。隨後，雙方主力在安市會戰。安市城險兵精，又有高麗、援軍十五萬。唐太宗分析了形勢，發現援兵沒有采取固守的上策，而直接和唐兵對陣，便讓李布陣，命長孫無忌率精兵一萬直衝敵後，殺敗援兵。在此戰之前，唐太宗曾打算繞過難打的安市，直取建安，讓安市變成一座孤城。但李卻怕糧道被斷，不敢直取建安，隻好硬打安市。在圍城打援中，李道宗曾建議，由他率精兵五千，直取平壤，但唐太宗沒有采納。雖然打援成功，但圍攻安市卻未收效，城上守軍一望見唐太宗的旗幟華蓋就鼓躁呐喊，唐太宗覺得很丟人，十分生氣。善於討好的李又出了愚蠢透頂的主意，請求破城之後把所有的男子一概坑殺。城中人聽了，更加拚死堅守。高麗降將建議大軍直取平壤，群臣也請太宗會合張亮，攻打平壤，太宗準備采納，但不懂軍事的長孫無忌卻多嘴，認為：“天子親征，異於諸將，不可乘危僥幸。”唐太宗又放棄了直取平壤的意見，死打安市。
李道宗在城外築山，晝夜不息，守城方也在加高城牆。六十多天後，山比城高好幾丈，居高臨下，形勢比較有利。有一天，山塌了，壓壞城牆，本是個攻城的天賜良機，可是唐軍守山的將領卻擅離職守，不在山上，反而被高麗兵奪去土山，挖溝嚴守。唐太宗命令諸將輪番攻打，三日不克。這一戰嚴重挫傷了唐軍的士氣，加上天寒地凍，糧食將盡，唐太宗隻好下令收兵，帶著遺憾回國。
唐太宗回到定州後，褚遂良做了一件害人的事，那就是誣陷大臣劉洎。唐太宗出征高麗前，讓劉洎輔佐太子，主持吏部、禮部、戶部事務。唐太宗對劉洎說：“我今遠征，爾輔太子，安危所寄，宜深識我意。”劉洎回答：“願陛下無憂，大臣有罪者，臣謹即行誅。”唐太宗覺得他太狂妄，訓誡道：“卿性疏而太健，必以此敗，深宜慎之！”唐太宗從高麗敗歸，病勢沉重，劉洎朝見回來，褚遂良問唐太宗起居情況，劉洎淚流滿麵地說：“聖體患，極可憂懼。”褚遂良便誣告說：“洎雲：‘國家之事不足慮，正當傳少主行伊、霍故事，大臣有異誌者誅之，自然定矣。’”唐太宗病愈後追究此事，劉洎照實報告，並說馬周當時在場，可以為證。唐太宗問馬周，馬周所說和劉洎一致。但褚遂良一口咬死劉洎有罪，唐太宗也就下令，讓劉洎自盡。
劉洎是一個性情忠耿、直言敢諫的大臣，頗有魏徵之風。褚遂良為什麼要誣陷他，史書上沒有記載，但分析起來有兩種可能：一是受唐太宗指使。劉洎原來還是受重用的，但在太子承乾與李泰爭嗣中卷入魏王李泰一派，失去了唐太宗的信任，與他持同一立場的崔仁師就先因“忤旨”被貶，後遭褚遂良誣陷又遭黜配。另外，太宗在馬周作證的情況下仍下令劉洎自殺，也足以證明：置劉洎於死地的主要原因是唐太宗本人，褚遂良不過是一根打人的棍子罷了。另外一種可能是褚遂良怕劉洎和他爭權，乘機剪除潛在的對手。
不管怎麼樣，褚遂良害人這一缺點太可怕，盡管他自己也算一位直臣。貞觀二十一年，他曾兼任大理卿，之後丁父憂解職。第二年複職，隨即升遷為中書令。
貞觀二十三年，一代英主唐太宗病逝。臨終前，他曾為李治作了一番安排，所安排的人便是李、長孫無忌和褚遂良。唐太宗對李治說：“李才智有餘，然汝與之無恩，恐不能懷服。我今黜之，若其即行，俟我死，汝於後用為仆射，親任之；若徘徊顧望，當殺之耳。”隨即貶李為疊州都督。多謀的李早知道唐太宗的小九九，連家也沒回就上任去了。
唐太宗咽氣前，召長孫無忌和褚遂良說：“朕今悉以後事付公輩。太子仁孝，公輩所知，善輔導之！”又對李治說：“無忌、遂良在，汝勿憂天下！”對褚遂良說：“無忌盡忠於我，我有天下，多其力也，我死，勿令讒人間之。”隨後命令褚遂良起草遺詔。不一會兒，雄才大略的唐太宗溘然長逝。
李治即位後，召回李，以長孫無忌、褚遂良、於誌寧、李等為肱股，為政有貞觀遺風。但一些不利因素也在悄然滋長。李治為太子時，入宮侍奉太宗，見到太宗身邊的武才人，便看上了。唐太宗死後，武才人隨其他嬪妃出家到感業寺為尼。唐高宗李治到感業寺燒香，看見武氏，相對流淚。這時，王皇後與蕭淑妃爭寵，王皇後因為無子而失寵，便想利用武氏來分散高宗對蕭妃的寵愛。他讓武氏蓄起長發，又勸高宗將武氏納入後宮。武氏入宮後，先把王皇後巴結好，王皇後多次在高宗跟前誇，加之李治本人喜愛武氏，沒多久就封為昭儀，寵愛程度超過王皇後和蕭淑妃。
野心勃勃的武氏不以此為滿足，她在謀求更大的權力。她傾心交結皇上周圍的各色人等，上至朝臣，下至宦官，皇上賞賜的財寶，都分給他們。這樣，她的耳目就遍布朝中，誰那兒有點動靜她都知道。
武昭儀的第一步是扳倒皇後，取而代之。她在大臣中爭取支持者，收買了李和許敬宗；她著意迷惑李治，再狠狠地陷害王皇後。她生了個女兒，王皇後自己沒孩子，喜歡孩子，逗著玩了一會兒。王皇後走後，武昭儀把自己的孩子扼死，用被子蓋住，然後和皇上談笑。皇上要看孩子，揭被一看，孩子已死，武昭儀放聲大哭。皇帝追問，左右婢女說皇後剛才來過。皇上因此認定是王皇後殺了他的女兒，開始起了廢立之心。他怕大臣反對，去試探長孫無忌，長孫無忌果然不答應。武昭儀派她母親去請求長孫無忌，無效；又派許敬宗去勸，被長孫無忌痛斥一頓。
陰謀家李義府知道李治的心事，奏請廢王皇後，立武昭儀。唐高宗李治召長孫無忌、褚遂良、於誌寧和李入宮商議。另有打算的李稱病不入。褚遂良對長孫無忌和於誌寧說：“今日之召，多為中宮，上意既決，逆之必死。太尉元舅，司空功臣，不可使上有殺元舅及功臣之名。遂良起於草莽，無汗馬之勞，致位至此，且受顧托，不以死爭之，何以下見先帝！”下定了死諫的決心。李治對他們說：“皇後無子，武昭儀有子，今欲立昭儀為後，何如？”褚遂良回答：“皇後名家，先帝為陛下所娶。先帝臨崩，執陛下手謂臣曰：‘朕佳兒佳婦，今以付卿。’此陛下所聞，言猶在耳。皇後未聞有過，豈可輕廢！臣不敢曲從陛下，上違先帝之命。”李治聽了很不高興。
第二天又議起此事，褚遂良說：“陛下必欲易皇後，伏請妙擇天下令族，何必武氏！武氏經事先帝，眾所共知，天下耳目，安可蔽也。萬代之後，謂陛下為如何！願留三思！臣今忤陛下，罪當死。”說完就把笏板放在殿階上：“還陛下笏，乞放歸田裏。”這幾句話戳到李治和武昭儀的痛處，李治大怒，把褚遂良趕出金殿，武昭儀在簾後大喊：“何不撲殺此獠！”長孫無忌趕緊說：“遂良受先朝顧命，有罪不可加刑。”於誌寧嚇得不敢說話。
另一大臣韓瑗也上疏諫爭，反對廢立。李治準備收回成命，又見到李，問了一句：“朕欲立武昭儀為後，遂良固執以為不可。遂良既顧命大臣，事當且已乎？”李說：“此陛下家事，何必更問外人！”一句話又挑起了李治的邪火，堅定了他廢立的決心。同時貶褚遂良為潭州都督。
永徽六年十月，唐高宗下詔，廢王皇後，蕭淑妃為庶人，立武氏為皇後。武後一黨的許敬宗、李義府開始把持朝政，陷害忠良。顯慶元年，韓瑗上疏，為褚遂良鳴不平：“遂良體國忘家，捐身徇物，風霜其操，鐵石其心，社稷之舊臣，陛下之賢佐。無聞罪狀，斥去朝廷，內外黎，鹹嗟舉措。臣聞晉武弘裕，不貽劉毅之誅；漢祖深仁，無恚周昌之直。而遂良被遷，已經寒暑，違忤陛下，其罰塞焉。伏願緬鑒無辜，稍寬非罪，俯矜微款，以順人情。”李治狡辯說：“遂良之情，朕亦知之，然其悖戾好犯上，故以此責之，卿何言之深也！”韓瑗回答道：“遂良社稷忠臣，為讒諛所毀。昔微子去而殷國以亡，張華存而綱紀不亂。陛下無故棄逐舊臣，恐非國家之福！”但李治就是不加理睬。
顯慶二年，褚遂良轉為桂州都督。許敬宗、李義府奉武後的旨意、誣陷大臣韓瑗、來濟和褚遂良圖謀不軌，貶韓瑗為台州刺史，來濟為振州刺史，褚遂良為愛州刺史，柳為象州刺史。褚遂良到愛州後，上表自敘苦衷與功勞，李治不予理睬。顯慶三年，褚遂良卒於愛州，年六十三歲。
人常說：死了，死了，一死萬事了。但褚遂良人死後還不得安寧。武後痛恨長孫無忌不親附自己，在廢立之時又支持王皇後，對中立的於誌寧也不滿，便密令許敬宗誣陷長孫無忌謀反。許敬宗便借事構陷。李治不相信長孫無忌會謀反，但被許敬宗三說兩說，便以為然，也不問長孫無忌，便把他貶往黔州。後來，許敬宗又派人逼長孫無忌自殺。
許敬宗又誣陷說：“無忌謀逆，由褚遂良、柳、韓瑗構扇而成，仍潛通宮掖、謀行鴆毒，於誌寧亦黨附無忌。”褚遂良已死，追削官爵，把他兒子褚彥甫、褚彥衝流放愛州，在路上就殺害了。
許敬宗派人去殺韓瑗，韓瑗已死，便發棺驗屍而還，於誌寧也被貶，柳被殺。同時還涉及許多大臣，從此，朝政大權落到武後手中。
後來武則天稱帝，自名為，改號為周。二十多年之後，武則天病危，張柬之等擁中宗李顯複辟，殺張易之等。武則天遺製令恢複褚遂良和韓瑗的官爵，算是對是非問題的一個表態吧。