“張廷玉之罪，不在於不親自謝恩，而在於請朕承諾。之所以讓朕承諾，乃是不信朕。”“朕待群臣，事事推心置腹，而伊轉不能信，忍為要挾之求。觀其如此居心，其有不得罪於天地鬼神耶！”
至此，乾隆才流露出了真實想法，即張廷玉不配享太廟。乾隆斥責道：“配享太廟的都是佐命元勳，立下赫赫戰功，張廷玉有何功績能與之比肩？鄂爾泰尚有經略苗疆的戰績，張廷玉所擅長的不過是撰寫諭旨。朕平心論之，張廷玉實在不當配享太廟，其配享實為過分。”
但張廷玉配享太廟的資格，是以雍正遺詔的形式公布天下。且在某種程度上，張廷玉已成為漢族臣子與滿人和睦相處的象征，削去他配享太廟的資格會讓漢人大臣寒心。在懲治張廷玉時，乾隆不得不有所收斂，在奪去張廷玉爵位之後，準許他以大學士身份退休，死後仍準配享太廟。
自從政以來，張廷玉向未受過如此打擊，在京中已如驚弓之鳥，隻想早日返鄉養老。乾隆十五年，皇長子永璜去世，初祭完之後張廷玉就急著申請返鄉。對一個高齡老翁來說，早日返鄉，安度晚年，無可厚非。
張廷玉到底還是年邁了，他沒有揣摩乾隆此刻的心情。在所有的皇帝當中，乾隆文治武功，號為“十全老人”，何等風光。然而，無限風光的背後，乾隆卻有著一肚子的苦衷無從訴說。
乾隆的家庭生活，初期還比較圓滿。在登上皇位的當年，他就以秘密建儲的方式，將皇後富察氏所生的永璉立為皇儲。乾隆對雍正的秘密建儲製度不以為然，但既然父親定了這個規定，他又不好違背，隻好先秘密建儲，等待恰當的時機再宣布，以此來否定秘密建儲。
永璉聰明貴重，氣度不凡，祖父雍正對他極為寵愛，曾暗示將來要讓他繼承皇位。永璉是皇後的嫡子，登上皇位自然是名正言順。但乾隆三年，永璉得病死去，死時不滿十歲。乾隆突然喪子，悲痛欲絕。在永璉死後，乾隆取出秘密建儲的匣子，公開宣布已將永璉定為皇儲，並以太子的禮儀為他治喪。
永璉死後，乾隆還有幾個兒子可供選擇，其中皇長子永璜已成年，皇三子永璋已十幾歲，其他皇子也相繼出生。但在七年之中，乾隆一直沒有確立皇儲。乾隆九年，皇後富察氏又生下了個兒子，乾隆大喜過望，為這個兒子取名永琮，並把未來建儲的希望寄托在他身上。永琮聰慧過人，乾隆對他寵愛到了極點。不料，永琮兩歲時出痘去世，乾隆痛不欲生。兩個兒子的相繼死去，也讓皇後傷心欲絕，在乾隆十三年離世。
在皇後的葬禮上，皇長子永璜、皇三子永璋沒有表現得呼天搶地，號哭流涕，這讓乾隆極其不滿，反應與處置也極其過分。一方麵，他嚴懲了皇子們的老師，認為他們沒有教育好皇子。另一方麵， 乾隆咬牙切齒，對天發誓，永遠不會立這兩個兒子為皇儲，並嚴厲警告二人：“伊等如此不孝，朕以父子之情不殺汝等，伊等當安分度日。”
此話一出，皇子們哪裏能安分度日。永璜驚悚萬分，鬱鬱寡歡，兩年之後就去世了，死時才二十三歲。
永璜死後，乾隆意識到自己對兒子太過分了，此時已追悔莫及，遂追封永璜為定親王。就在乾隆無比沮喪時，張廷玉急火火地申請回鄉養老。沉浸在喪子之痛中的乾隆頓時發作，大罵張廷玉：“張廷玉曾侍朕講讀，又曾做過定親王的老師，如此木然無情，還有人心嗎？”接著又將張廷玉說的一文不值：“你當官這麼多年，毫無建樹，不過就是一個古董陳設而已。”
張廷玉配享太廟的資格又一次被提了出來。乾隆這次搬出老爹雍正來代言：“假若皇考還活著，看到你張廷玉今天的行為，也要收回成命。你張廷玉不但得罪於朕，更是得罪了皇考在天之靈！”
隨後，張廷玉配享太廟資格被罷去。這還不夠，乾隆又借張廷玉親家朱荃在四川學政任內匿喪趕考、賄賣生員一事，將張廷玉家產查抄，並以沒收的張廷玉家產一萬五千兩白銀替朱荃贖罪。
回鄉之後，張廷玉沉寂了六年，在乾隆二十年（1755）辭世。張廷玉離世後，乾隆可能察覺到自己對張廷玉處理得太過分了，又再次批準了張廷玉配享太廟。但乾隆嘴巴上卻不肯認錯，找借口道：“這是先皇雍正之命，朕何忍違。”死前的張廷玉，並不知道自己能再次配享太廟，帶著無限遺憾離世了。