唐肅宗為了收複長安，竟然與回紇人相約：“一旦城破，財物子‘女’歸回紇，城市土地歸大唐。”這種約定，無疑是置廣大生靈於不顧，唐肅宗的政治素質可見一斑。
李泌對廣平王李淑說道：“不能兌現陛下與回紇人的約定。”李淑到回紇首領葉護可汗馬上請求說：“如果剛剛收複長安，就將子‘女’、財物全都‘交’給你們，那麼洛陽百姓一定會與叛賊一心守城，抵抗我們的進攻的。”葉護可汗答應李淑不對長安進行搶劫。
收複長安之後，唐肅宗派人到蜀地請唐玄宗恢複皇帝之位，李泌知道後，對唐肅宗說道：“太上皇一定不會回來。”
唐肅宗問道：“我該怎麼辦呢？”
李泌說道：“向太上皇說明您被臣子‘逼’迫登基的情況，請太上皇原諒。”
事情果然就如同李泌預料的那樣，李隆基隻識趣地同意，以太上皇的名義回京，不答應複位，哪裏聽說過兒子將皇位讓給父親的先例的？演戲也不能太假了，何況還有諸多為自己拚命的大臣該如何應對呢！
恢複了帝京之後，李泌請求唐肅宗兌現諾言，答應自己回到山中，做一個逍遙之人。唐肅宗問為什麼，李泌答道：“我有五個不可留下的理由，請陛下讓我活下來。”
唐肅宗問道：“是什麼？”
李泌答道：“我受到陛下知遇之恩太早；陛下重用我太重；對我寵愛太深；我的功勞太大；我的行跡太過詭異。”
唐肅宗說道：“睡覺吧，明天再說。”
李泌說道：“請陛下讓我活下去，不讓我走，等於殺我。”
唐肅宗說道：“你把我當成勾踐了。”
李泌說道：“陛下不殺臣，臣才能說出這個要求。殺臣的不是陛下，而是五個必殺的理由。天下已經安定，我已經沒有什麼可以進諫的了。”
唐肅宗問道：“你是不是還在為我不北伐範陽之事計較。”
李泌答道：“不是，我在建寧王李琰被殺一事上，不敢進諫。”
唐肅宗說道：“李琰很能幹，他被小人教唆，想殺害哥哥廣平王。”
李泌答道：“廣平王每次說道弟弟，都哭泣，李琰沒有殺死哥哥李淑的意圖，現在我要離開了，才會對陛下說這些話。”
唐肅宗說道：“李琰確實受到小人教唆陷害哥哥。”
李泌說道：“這些都是進讒言的人說的，當初我反對李琰任元帥，加入李琰想擔任元帥，他怎麼可能親近我呢？”
唐肅宗哭著說：“先生是對的，事情已經過去，不要說了。”
李泌說道：“臣之所以提起這件事，是因為未來。當年則天皇帝殺死太子李弘，是因為李弘聰明，又殺死太子李賢，是因為李賢賢能。李賢臨死前寫到，種了一顆瓜，結了不少瓜，摘了一個瓜，還有不少瓜，再摘一個瓜，瓜就很稀了，不敢再摘了，再摘就隻能抱著瓜秧回家了。”
唐肅宗吃驚地說：“有這種事？我把這件事記在衣帶上。”
李泌說道：”記在心中即可。何必表現在外麵。”
當時，皇後張良娣、太監李輔國記恨廣平王李淑有大功勞，散步留言陷害李淑（唐代宗），李泌是在提醒唐肅宗保
護李淑。
李泌走了，過上了功成身退的逍遙生活，像他這樣的智者，世間能夠有幾個？多少人為了權力、地位名聲、美‘色’，搭上了生命，甚至家族，隻有李泌，來去自如，真是仙人。