隻有奉行這種明哲保身、以退為進的官場哲學，他才能保住玄宗對他的信任，從而保住首席宰相的烏紗。
隻可惜，張九齡沒有這麼做。
不是因為他不懂，而是因為他不屑。
麵對玄宗森寒逼人的目光，張九齡竟然趨前一步，朗聲說道：“據臣所知，嚴挺之已經和這個女人離異，應該沒有什麼感情，更談不上什麼徇私。”
就是這句話，徹底顛覆了張九齡自己苦心維係了大半生的道德形象，也讓玄宗李隆基對他徹底喪失了信任。
玄宗之所以能夠容忍他一再違忤聖意、觸逆龍鱗，無非是看在其一心為公、從不徇私的份上。可現在倒好，張九齡一句話，就親手葬送了自己的一世英名，也親手抹掉了他在玄宗心中殘存的最後一絲好感。既然如此，玄宗憑什麼還要留他？
玄宗盯著張九齡看了很長時間，最後從鼻孔裏發出一聲冷哼，說：“雖離，乃複有私！”（《資治通鑒》卷二一四）嚴挺之和他前妻雖已離異，仍舊不免有私心！
玄宗這句話一錘定音，為王元琰貪汙案畫上了一個句號。同時，也把嚴挺之和張九齡一塊定了性。
次日，玄宗頒下一道詔書：王元琰貪贓受賄，罪證確鑿，流放嶺南；嚴挺之徇私枉法，為罪犯開脫罪責，妨礙司法公正，貶為洺州刺史；張九齡不僅徇私包庇屬下，且有交結朋黨之嫌疑，免去中書令之職，罷為尚書右丞；裴耀卿素與張九齡交厚，也有結黨之嫌，免去侍中之職，罷為尚書左丞。
具有諷刺意味的是，就在同一天，在同一份詔書中，玄宗鄭重宣布——由李林甫取代張九齡，出任中書令，兼集賢殿大學士；牛仙客就任工部尚書、同中書門下三品。
這兩道任命狀，就像是狠狠扇在張九齡臉上的兩記耳光。
你說李林甫最終將危害朝廷社稷，那朕就讓他取代你，讓他成為帝國的首席宰相，看他到底如何禍國殃民！
你說牛仙客是邊陲小吏，連做尚書的資格都沒有，那朕就偏偏讓他當尚書，還要讓他當宰相，看他當不當得起！
既然朝廷是朕的朝廷，社稷也是朕的社稷，那麼隻要朕願意，就沒有什麼不可以！
是的，隻要玄宗李隆基自己願意，確實是沒什麼不可以的。
“九齡既得罪，自是朝廷之士，皆容身保位，無複直言。”
“上（李隆基）在位歲久，漸肆奢欲，怠於政事……”（《資治通鑒》卷二一四）
隨著張九齡的罷相和李林甫的崛起，唐玄宗李隆基也在由儉入奢、由明而昏的道路上越走越遠了。從開元二十四年的這個冬天起，直到天寶十四年（公元755年）那個“漁陽鼙鼓動地來”的冬天，在將近二十年的時間裏，在偌大的帝國之中，確實再也沒有一個人，可以阻擋大唐天子李隆基走向深淵的腳步。
當然，李隆基是無法預見未來的。
連西方哲學家休謨都十分懷疑明天的太陽是否會照常升起，李隆基又如何預見未來呢？
不要說二十年後的事情，就算接下來馬上要發生的這一幕人倫悲劇，也是李隆基自己無論如何都不可能料到的……
太子廢立
作為一個皇帝，李隆基無疑是曆史上少有的成功者，因為他不僅通過個人奮鬥攫取了大唐天子的寶座，而且通過不懈努力締造了彪炳千秋的煌煌盛世，所以，就算用“天縱神武”“雄才偉略”這一類誇張詞彙來形容他，似乎也不算過分。然而，作為一個丈夫、一個父親，李隆基的表現卻著實令人不敢恭維。
開元十二年，他無情地廢黜了與他同生死、共患難的結發妻子王皇後，導致她隨後抑鬱而終。時隔十三年後，他又親手廢黜了太子李瑛的儲君之位，同時廢黜了鄂王李瑤和光王李琚的王爵，在同一天將這三個兒子貶為庶人，旋即又全部賜死。