遺憾的是，這次遠征高麗，雖未慘敗，但最終也告失敗，這一切都被褚遂良不幸言中。
貞觀十七年，這一年對於貞觀一朝是個分水嶺。
這一年，太子李承乾被廢黜，晉王李治被立為新太子。
這一年，千古良臣魏征病逝，勸諫皇帝的重擔轉到了褚遂良的身上。
就我個人感覺，我認為魏征的進言原則性的東西多，卻空洞無物，有時純粹是為了進言而進言，而褚遂良的進言，既有原則性的東西，也有很實際的東西，這樣的進言其實對皇帝的幫助性更大！（一家之言）
從貞觀十七年開始，褚遂良的地位逐漸上升。
貞觀十八年，升任黃門侍郎（正四品），參綜朝政，有了“參綜朝政”這四個字，褚遂良便成了宰相委員會中的一員。
貞觀二十年，加授銀青光祿大夫（從三品，副部級）。
貞觀二十一年，兼任大理卿（最高法院院長，從三品，副部級）。
貞觀二十二年，升任中書令（最高立法長，正三品，正部級）。
貞觀二十三年，太宗李世民病危，長孫無忌與褚遂良進入李世民的臥室，接受李世民的臨終托孤。
李世民指著長孫無忌和褚遂良對太子李治說道：“無忌、遂良在，國家之事，汝無憂矣！”然後又專門囑咐褚遂良說：“無忌盡忠於我，我有天下，多其力也。我死，勿令讒人間之！”
一語成讖！
李世民在臨終時擔心將來會有人離間李治和長孫無忌的甥舅關係，沒想到，幾年後，擔心的事情還是發生了。
李治和長孫無忌之間出現了第三者！
誰？
小三的名字叫武則天！
在武則天進宮之後，皇帝李治的重心開始發生偏移，從原本無條件信任長孫無忌和褚遂良轉變為逐步倚仗武則天，在他看來，武則天是他的妻子，是自己人，而長孫無忌和褚遂良說到底還是外人。
以廢王皇後為起點，皇帝李治開始扶武則天上位，這一切看似隻是廢立皇後，其實卻是皇帝李治收權的開始，收的便是長孫無忌和褚遂良的權。
這是一場皇權與相權的較量，隻不過以廢立皇後為名，審時度勢的老將李勣看清楚了其中的局，他悄無聲息的躲開了；長孫無忌是宰相群的代表，他無處可躲，隻能抗爭；而褚遂良，如果他願意他也可以悄無聲息的躲開，然而他卻堅決地與長孫無忌站在一起，他試著保護長孫無忌。
然而一切努力都是徒勞的，他們的對手武則天不是一個人，武則天的背後還站著皇帝，這是一場必輸無疑的較量。
褚遂良和長孫無忌是不幸的，如果不是遭遇武則天這個千古難遇的強悍女人，他們或許還會與皇帝一起繼續幸福的生活，很不幸，他們遭遇了武則天。
公元655年，褚遂良和長孫無忌對於武則天的抵抗失敗，托孤大臣就此走上了下坡路。
這一年九月，中書令褚遂良被貶出長安，出任潭州都督，潭州即現在湖南一帶，總部位於長沙。
兩年後，褚遂良又調任桂州都督，桂州的總部在今天的廣西桂林市。
桂州都督任上屁股還沒有坐熱，調令又來了，即日起調任愛州都督。
愛州的總部，在今天越南的清化市！
長安越來越遠，從此長安隻在記憶之中。
其實在褚遂良的記憶裏，貞觀二十三年太宗臨終托孤的場景他記憶猶新，在太宗駕崩之後，時年隻有21歲的李治抱著他的脖子痛哭不已，還是他和長孫無忌不斷安撫，才平息了李治的心。
一切相隔隻有八年，記憶深處的東西，怎麼能說忘就忘呢？
或許李治也沒有忘，隻是他不想再提起！
在褚遂良人生的最後時刻，他隻有一個願望：終老長安，然而這個願望沒能出現。
他給皇帝的上書如泥牛入海，毫無消息。
一年後，初唐四大書法家之一的褚遂良在遠離國都長安的愛州終老，享年六十三歲。
再一年後，同為托孤重臣的長孫無忌被誣謀反，在黔州被逼自殺，而褚遂良的兩個兒子受牽連，被流放愛州，途中被誅殺。
四十六年之後，唐中宗李顯複位，以武則天遺詔之名為褚遂良平反，追複爵位。
斯人已逝，一顆忠心憑誰問？