對清廷扶持滿人親貴，壓製漢人官僚的做法，漢人知識分子一直是有怨言的，但懾於皇權的專橫而不敢過於流露，對此乾隆也心知肚明。就滿人親貴而言，怎麼也難以接受張廷玉配享太廟。一個漢人文官，沒有任何軍功，憑著操作文書就得到了配享太廟的資格，這讓以武功自詡的滿人輕視且不滿，此種不滿普遍地潛伏著。滿漢雙方，一個內心不滿，一個久有怨言，乾隆則居中扮演了調停者的角色。乾隆憂慮的是滿漢之爭公開化，影響朝政，故而要時時加以敲打。
乾隆六年，左都禦史劉統勳突然鬥膽上疏，彈劾張廷玉一門權勢太過顯赫，請三年內停止所有張氏子弟升遷。劉統勳此舉，確實抓住了張廷玉的尾巴。在張廷玉提攜下，張氏一門登科及仕者眾多，以致有“桐人之受國恩登仕籍者甲於天下”之說。不過劉統勳同時也彈劾了滿人親貴，政壇新起之秀，軍機大臣訥親，且言辭更為激烈。乾隆雖未采納劉統勳的意見，卻將其所上的奏疏出示群臣，敲打之意已在不言中了。
雍正初登基時，出於對滿人親貴的不信任，大力任用漢人，出現了田文鏡、李衛、張廷玉這樣的漢人重臣，滿漢之別還不是很明顯。乾隆時代，江山穩固之後，滿漢之別突顯。天下是滿洲人打下來的，統治江山自然該由滿洲人來唱主角，此觀念橫亙於乾隆腦海中，無法消弭。表麵上他對漢人大臣親信有加，加以任用，但前提卻是必須保證滿人親貴在朝中占優勢地位。
此種觀念，在軍機大臣的任用上便可看出。乾隆十年，鄂爾泰病故，怎麼說也該由張廷玉領首席軍機大臣，但乾隆卻提拔了年紀輕輕的訥親擔任首席軍機大臣。對此任用，乾隆也知道存在問題，曾自我解釋道：“若以任用之先後為次序，則當日鄂爾泰即不應在張廷玉之前。”
乾隆十三年，訥親因為金川之役中貽誤戰事，被遏必隆寶刀正法。乾隆又以傅恒為首席軍機大臣，而在雍正朝已經擔任過首席軍機大臣，資曆最深的張廷玉仍然無緣首席軍機。張廷玉輔佐康熙、雍正、乾隆，前後五十餘年，裁擬諭旨，文采贍備；處理軍務，無不精當。但七十六歲高齡，輔佐皇帝，終究吃力。且被後生小子給壓著，張廷玉心中終有不快，曾擲筆長歎雲：“精力竭矣！”竭的，不單是精力，更是心力。
張廷玉以年邁為由，奏請返鄉養老，乾隆極力挽留。乾隆挽留張廷玉的原因，一則是想讓他輔佐剛入軍機處的傅恒，二則張廷玉從政多年，威望極高，堪為漢官受重用的象征。留他在朝內，可以修補滿漢官員之間的矛盾。
到了乾隆十四年，乾隆終於同意了張廷玉退休。依照張廷玉的資曆與功績，他的致仕怎麼也是風風光光，不想卻生出無限是非，總算能留條老命回家養老，而一切的禍根都源於配享太廟這個無上榮耀。
七十八歲的張廷玉，於富貴權位，已經看得很淡了。他所看重的是身後的殊榮，是曆史的地位，對於配享太廟的資格自然格外在意。而外界對於他配享太廟的資格卻是議論紛紛，各種流言也傳到了他的耳中，讓老邁的他坐臥不安。
自步入官場，張廷玉始終遵循著黃庭堅的一句格言：“百戰百勝，不如一忍；萬言萬當，不如一默。”官場之上，言多必失，文過必禍，年邁的張廷玉也開始糊塗起來。
當乾隆準許他退休時，他特意上了一個奏折。在奏折中張廷玉嘮叨：“恐身後不得蒙榮，外間亦有此議論。”張廷玉請乾隆做出承諾，將會遵循雍正的遺命，讓自己配享太廟。唯恐乾隆空口無憑，張廷玉甚至“免冠叩首，請上一辭以為券”。
乾隆看了這個上奏勃然大怒，皇帝賞給臣子的榮耀，能不能兌現這是皇帝的事，從來沒有哪個臣子敢要求皇帝以書麵文本做出承諾，這是對君權的要挾。但乾隆還是忍住了這口怒氣，如果他發作，正好坐實了外界流傳自己不肯讓張廷玉配享太廟的議論。而不讓張廷玉配享太廟，卻是對先皇雍正的忤逆，這又將會激起無數議論。
乾隆咽下了這口怒氣，隱忍不發，他頒布了上諭，保證一定會讓張廷玉配享太廟，又賜詩給張廷玉，雲“先皇遺詔惟欽此，去國餘恩或過之”，以讓他安心。乾隆是給足了張廷玉麵子，但張廷玉終究是老糊塗了。在皇帝做出了這麼多讓步與許諾之後，他竟然沒有親自到宮門口去謝恩，隻是讓兒子代自己前去謝恩。
得知張廷玉沒有親自來謝恩之後，乾隆更加生氣，下令軍機處擬寫諭旨，讓張廷玉解釋清楚。諭旨還沒有發下，消息立即被軍機處中張廷玉的門生汪由敦偷偷地傳了出來。次日一大早張廷玉親自進宮謝罪。乾隆明白有人泄露消息給了張廷玉，隨即懲戒了汪由敦，也嚴厲指責張廷玉：