麵對李泌列舉的五條不可留的理由，肅宗無力反駁，隻好悻悻地說：“朕困了，趕緊睡覺，此事改日再議。”
李泌卻不依不饒：“陛下今日在臣的臥榻之上，尚且不同意臣的請求，何況來日在禦案之前？陛下不讓臣走，就是殺臣！”
肅宗搖頭苦笑：“沒想到卿會如此懷疑朕，像朕這樣的人，又怎麼可能會殺害卿呢？莫非卿把朕當成了昏君？”
“正因陛下尚未殺臣，臣才能提出要求；倘若真到了那一天，臣還有什麼話好說！再者，殺臣者並非陛下，而是臣方才列舉的五條理由。一直以來，陛下待臣如此之厚，臣有些事情尚且不敢進諫，何況天下安定之後，臣就更不敢開口了。”
肅宗一臉不悅，沉默良久，才緩緩地說：“卿是怪朕沒有聽從你的北伐之謀吧？”
“非也！”李泌鼓起勇氣說，“臣所不敢言者，乃建寧王也。”
肅宗一怔，隨即俯首長歎：“建寧，朕之愛子，自小英勇果敢，馬嵬北上時建有大功，朕豈能不知！可正因為他自恃有功，遂被小人所教，欲加害其兄長，圖謀儲君之位，朕為了顧全社稷大業，不得已而除之，卿難道不知朕的苦衷？”
“假如建寧王真有不軌之心，廣平王必然會心生怨恨，可事實並非如此。廣平王每次和臣說起建寧的冤情，無不痛哭流涕，悲不自勝。臣隻因決意要走，才敢跟陛下談及此事。”
肅宗聞言，臉色越發難看，可嘴裏還堅持說：“你不知道，建寧曾在深夜潛入廣平府邸，企圖行刺。”
李泌冷笑著說：“這種話都是出自讒人之口，像建寧王如此孝順友愛、聰明智慧之人，豈能做出如此卑劣而愚蠢之事！陛下應該還記得，當初您曾想任命建寧王為元帥，是聽了臣的諫言，才改任廣平。如果建寧真有奪嫡之心，一定會因此記恨於臣，可他非但不記恨，反而認為這是出自臣的忠心，待臣愈發友善。僅此一事，陛下便足以鑒察其心。”
聽到這裏，肅宗的兩行清淚已經奪眶而出。他無言以對，隻好連連擺手說：“先生說得對，可過去的事就讓它過去吧，有道是既往不咎，朕不想再聽了。”
“臣之所以提起此事，非咎既往，而是希望陛下謹慎將來……”李泌看了看肅宗，心裏猶豫著要不要說出下麵的話，最後還是把心一橫，朗聲說道：“昔日武後有四個兒子，長子是太子弘，當時武後企圖臨朝稱製，對李弘的聰明十分戒懼，遂將其鴆殺，立了次子雍王李賢。李賢擔心步李弘之後塵，常懷憂懼，便寫了一首《黃瓜台辭》，希望以此感動武後。可武後不為所動，最後還是將李賢賜死於黔中。《黃瓜台辭》說：‘種瓜黃台下，瓜熟子離離。一摘使瓜好，再摘使瓜稀，三摘猶為可，四摘抱蔓歸！’如今陛下已然一摘，慎勿再摘！”
肅宗大為愕然，說：“怎麼會有這種事！你把這首辭抄下來，朕當留在身邊，以便隨時警醒。”
“陛下隻要記在心裏就行了，何必形之於外！”
李泌知道，今天這一席話，讓身為皇帝的李亨極為難堪，可他如果不在臨走之前把這番逆耳忠言說出來，廣平王李俶就很可能會有性命之憂！因為肅宗寵幸張良娣，而張良娣又是個野心勃勃的女人，她不但自己想正位中宮，而且一心想把她的兒子拱上儲君之位。因此，當她和李輔國聯手除掉建寧王李倓、逼走李泌之後，接下來必然會把矛頭指向廣平王李俶。
其實，早在建寧王李倓剛剛遇害時，廣平王李俶就已經明顯感受到了張良娣對他的威脅，所以他當時就產生了和建寧王一樣的想法——先下手為強，除掉張良娣和李輔國。
但是，李泌阻止了他。
李泌說：“難道王爺還想重蹈建寧之覆轍？”
李俶憂心忡忡地說：“我擔心的不隻是自己，也包括先生。”
“我和皇上有約，等到京師光複，我就歸山，自然能消災免禍。”
“先生走了，那我豈不是更加危險？”
對於這個問題，李泌心裏也很無奈。他隻能安慰李俶說：“王爺但盡人子之孝。至於張良娣，不過是一介婦人，王爺隻要委曲順從她，相信她也不能把你怎麼樣。”
話雖這麼說，可李泌心裏跟李俶一樣沒底。
他知道，像張良娣這種女人其實什麼事都幹得出來！
正因為此，所以在歸山之前，李泌無論如何都要把這些話跟肅宗挑明了——這既是出於對廣平王的關愛，也是為了維護李唐社稷的穩定。
李泌執意歸山，肅宗屢屢挽留，兩個人為此打了半個多月的太極。直到這一年十月，肅宗實在拗不過，才不得不讓李泌歸隱衡山，同時命當地官員在山中給李泌修築了一座宅子，並賜予他三品官待遇。
李泌來得從容，走得瀟灑，因為他沒有功名利祿的牽絆。在他眼中，人格的獨立與心靈的自由是生命中最可寶貴、最值得珍視的東西，世界上沒有任何事物可與之相提並論。
世人慣於用權力的大小、身份的尊卑、地位的高低、財富的多寡去看待一個人，可李泌深知，這是很可笑的。因為在這個詭譎無常、變幻莫測的世界上，誰也不敢保證自己會永遠保有權力和富貴。更何況，在追逐並占有這些東西的過程中，你還要不斷付出代價——你必須為之殫精竭慮、牽腸掛肚、如臨如履、患得患失。而就在這樣的過程中，你不僅喪失了獨立的人格和自由的心靈，甚至有可能喪失生命！