然而，當時的宦官李靜忠也就是後來的大奸臣李輔國對李泌卻非常的嫉恨。因為李泌的出現打亂了他的日常生活，使他和肅宗於戰爭中結下的情誼在肅宗與李泌的朋友之誼麵前顯得很單薄。肅宗已經不再像從前那樣，下朝後什麼事都和他商量，征求他的意見，然後滿意地點頭。有一天晚上李靜忠垂手侍立在肅宗身邊，準備安排肅宗的晚寢。
而肅宗卻召來了李泌，揮手讓他退下。李靜忠心裏滿含著忌恨和委屈，陰沉著臉，出去時還回頭瞪了一眼李泌。他感到自己苦心經營的地位岌岌可危，都是因為李泌，是他代替了自己的位置。夢想的富貴還沒有達到，自己怎麼能這樣敗下陣來，李靜忠決定要報複李泌。
肅宗的妻子張良娣也恨李泌。李泌的出現竟然讓一向敬重自己、遷就自己的丈夫不再關心自己，一心隻想著與李泌敘舊情，竟然晚上也不到自己的寢宮休息。以前一向無所不談，現在竟然來去匆匆，顧不上和她說一句話。
她勸肅宗休息，肅宗卻說：“婦人家，以內宮為要，不必幹預朕的大事。”張良娣又氣又恨，將所有的失落與不滿都歸罪到了李泌頭上。
李泌心裏很明白自己的處境，為了明哲保身，他決定退隱山林。在隱退之前，他決心盡最後一次努力，以保全自己愛護的皇太子廣平王李豫。
當天晚上，李泌對肅宗說：“臣已略報聖恩，請恩準我做個閑人。”
肅宗非常驚異，說：“我同先生憂患多年，應該與先生同樂，您為何要離去呢?”
李泌答道：“臣有五不可留，願陛下讓我離去，免於一死。”
唐肅宗問：“這五不可留是指什麼呢?”
李泌答道：“我遇陛下太早，陛下任我太重，寵信我太深，我的功勞太高，事跡太奇，有此五慮。陛下若不讓我走，就是殺了臣。”
肅宗不解地說：“先生為什麼懷疑朕，朕不是瘋子，為什麼要殺先生呢?”
李泌道：“正是陛下不殺我，我才敢請求歸山，否則我怎麼敢說?並且我說被殺，不是指陛下，而是指那五點原因。我想，陛下對臣這麼信任，有些話尚且不敢說，等天下安定了，我哪敢再說什麼?”
肅宗說：“我知道了，先生要北伐，我不聽從您的建議，先生您生氣了。”
李泌回答：“不是，我說的是建寧王一事。”原來，不久前，肅宗聽信李靜忠和張良娣誣告，建寧王李炎將被賜死。
肅宗說：“建寧王聽小人的話，謀害長史，想奪儲位，我不得不賜他死，難道先生還不知道嗎?”李泌又說：“建寧王倘若有此心，廣平王必定會怨恨他，可是廣平王每次與我談話，都說弟弟冤枉，淚如雨下。況且，以前陛下想用建寧王為天下兵馬大元帥，我請改任廣平王。建寧王要是想奪太子的地位，一定會恨臣，然而為什麼他認為我是忠心，對我更加親善呢?”
聽到這裏，肅宗也不禁流淚道：“我知道錯了，先生說得很對，但是事情既然已經過去了，我也不想再聽這件事。”
李泌說：“我不是要追究以前的責任，是為了讓陛下警戒將來。當年則天皇後有四個兒子，她錯殺了太子弘，立次子李賢為太子。次子內心憂懼，作《黃台瓜》一詞，想感動則天皇後，但則天皇後不予理睬。
李賢被廢之後，死在貶所黔中。《黃台瓜》一詞是這樣說的：‘種瓜黃台下，瓜熟子離離。一摘使瓜好，更摘使瓜稀，三摘尤可為，四摘抱蔓歸。’陛下已經摘了一個大瓜了，千萬不要再摘了。”
肅宗驚奇地說：“怎麼會有這種事，我當把這首詩寫在紳帶上，時時警惕。”
李泌深沉地說：“陛下記在心中就行了。”
在這次談話過後，李泌就入衡山，歸隱泉林了。
曆史證明，李泌的選擇是極其正確的。在平定安史之亂以後，李靜忠因為勞苦功高被委以重任，更名李輔國以後更是權傾朝野。他鏟處異己可謂是不擇手段，毫不留情，連曾經的同盟者張皇後(張良娣)都不放在眼裏，期下瞞上，無法無天，試想如果李泌還留在朝中，那又會有什麼好下場。