雍正駕崩的時候，大學士鄂爾泰和張廷玉被命為輔政大臣，為了拉攏這兩個人，乾隆剛一即位，就下令給予兩人今後配享太廟的待遇。對於清朝官員來說，配享太廟可謂是臣屬至高無上的榮譽。
但後來乾隆翅膀硬了，見鄂爾泰過於囂張，便開始剪除其朋黨，連鄂爾泰本人也被革職拿問。張廷玉雖然沒有鄂爾泰那樣鋒芒畢露，但在張廷玉的影響下，張家和親家姚家有二三十個人在朝中或者地方上做官，如果加上其門生故舊，勢力也相當大。對張廷玉廣布黨羽的威脅，乾隆也心懷不滿，正伺機給予打擊。
後來終於來了個機會。乾隆十四年，張廷玉因年老上奏請求退休，折子裏有這麼一句話，說“以世宗遺詔許配享太廟，乞上一言為券”。這話的意思是讓皇帝做個保證，說得未免有點無禮。乾隆見了立刻火冒三丈，但念及他馬上可以在自己麵前消失了，便也沒多說什麼，隨後同意了這個請求。
不料第二天聖旨還沒有發下去，張廷玉便已入朝謝恩。原來，軍機大臣汪由敦出自張廷玉門下，提前給張廷玉透了風。乾隆大怒，下詔解除了汪由敦協辦大學士和刑部尚書的職務，仍舊讓他在刑部任上贖罪。
而張廷玉不知就裏，正好趕上了乾隆的槍口上。乾隆對張廷玉早就不滿很久了，這次正好對張廷玉大加羞辱，說：“太廟配享的都是功勳卓越的元老，你張廷玉何德何能，有何功績，可以和那些元勳比肩？鄂爾泰他還算有平定苗疆的功勞，你張廷玉所擅長的，不過是謹慎自將，傳寫諭旨，就像我詩裏寫的那樣，‘兩朝綸閣謹無過’罷了！”
乾隆越說越氣，下令將張廷玉的伯爵之位革去，隻以大學士銜退休。不過，乾隆也不好違背自己即位時許的諾言，還是準張廷玉配享太廟，但私下裏卻一直念叨說：“張廷玉實不當配享，其配享實在過分。”
過了一陣子，乾隆的皇長子死了。張廷玉本是皇長子的學生，但老張看起來似乎沒有什麼悲傷的表示，乾隆得知後心裏很不高興，說你老張無情，就莫怪我無義！後來在張廷玉的親家公收受賄賂案中，張廷玉也受到牽連，被罰錢充公。
不過，八十四歲的張廷玉死後，乾隆還是讓老張進了太廟，並溢號“文和”，總算給了張家一點麵子。