758年，唐玄宗遊幸華清宮時，特意召見了著名的女伶謝阿蠻。謝阿蠻善舞《淩波曲》，過去常入宮中，為自己和貴妃獻舞。後來，唐玄宗和貴妃等逃離長安，謝阿蠻便回老家去了。唐玄宗重返華清宮，獨自欣賞謝阿蠻獻舞，愈加思念楊貴妃。為了寄托哀思，唐玄宗還叫著名的樂師張野狐演奏《雨霖鈴》。相傳，這首《雨霖鈴》是唐玄宗特意為悼念楊貴妃而作的。
唐玄宗一心要為楊貴妃辦一場隆重的葬禮。肅宗最初是同意的，但是肅宗身邊的大宦官李輔國卻竭力反對。想當初李亨還是太子之時，唐玄宗與高力士很瞧不起李輔國，如今李輔國一朝得勢，便想盡辦法刁難唐玄宗。李輔國把楊貴妃之死跟楊國忠“負國兆亂”聯係在一起，認定“葬禮未可行”。舉行葬禮，等於否定了誅殺楊氏兄妹的合理性。沒有辦法，唐玄宗隻得秘密派宦官到馬嵬坡，選了一處風水上佳的地方改葬了楊貴妃。
真正讓父子關係陷入冰點，並導致唐玄宗被幽禁的導火索，則是史思明重新叛亂和洛陽的再度淪陷，生性多疑的唐肅宗又開始擔心唐玄宗會東山再起。坦率地講，已經75歲的唐玄宗不可能再有什麼政治野心，長期侍衛他的高力士、陳玄禮以及內侍王承恩、魏悅等，已經沒有能力組成新的政治集團。誠然，此時太上皇還是比較活躍地參加各種活動。原本太上皇就生性喜鬧，如今被架空了皇位，美人也香消玉殞，每天守著偌大的興慶宮，當然得想辦法自娛自樂，以消解內心的苦悶。唐玄宗居住的興慶宮，宮內有一條比鄰大道的長慶樓，唐玄宗無聊時常常站在樓上徘徊，下麵過路的行人無不停下腳步瞻望禮拜，高呼“萬歲”。有時候劍南奏事官也來看望唐玄宗，拜舞於長慶樓下，唐玄宗就叫玉真公主和如仙媛招待他們。特別是唐玄宗與郭英義的交往，更引人矚目。禁軍大將軍郭英義為人豪爽，唐玄宗常詔他到長慶樓，賜宴款待。這些活動本來是很平常的，但在緊張的戰爭形勢下，唐肅宗疑心太上皇“與外人交通”，似乎別有用心，於是便直接將郭英義調離禁軍，外任為陝州刺史、陝西節度使、潼關防禦使等。
由於太上皇與皇帝之間的猜忌日益尖銳，李輔國便趁機危言聳聽，製造太上皇要不利於皇上的言論。在肅宗的默許下，李輔國直接撤走了興慶宮裏的290匹馬，僅留下10匹。唐玄宗無可奈何地對高力士說：“我的兒子已經被李輔國迷惑了，一定不會盡心伺候我終老的。”760年七月的一天，李輔國更是“矯旨”逼迫太上皇遷居西內太極宮，高力士、陳玄禮以及原興慶宮宮內人員一律不準留在左右，隻留下數十位老弱的衛兵保護唐玄宗的安全。忙活完了這些事，李輔國趕緊為自己的自作主張向肅宗請罪，肅宗反而安慰他：“南宮、西內，有什麼區別？況且愛卿此舉也是害怕太上皇遭奸人迷惑，做出危害江山社稷的事來，沒有人會怪罪你的。”很顯然，幽禁太上皇，肅宗是持支持態度的，否則以李輔國一個宦官，怎敢進行這大逆不道的行為。幾天後，肅宗更是以實際行動支持李輔國，以“潛通逆黨，曲附凶徒”的罪名將高力士流放巫州，內侍宦官王承恩與魏悅分別流於博州和溱州，並直接罷免了陳玄禮的官職。
唐玄宗幽居西內後，李輔國派人嚴密監視唐玄宗的一舉一動，阻撓太上皇召見外人。刑部尚書顏真卿曾率百官上表，詢問太上皇起居，最後被貶為蓬州長史。李輔國還與張皇後狼狽為奸，阻撓太上皇與肅宗父子相見。不僅如此，李輔國在日常生活上更是苛待唐玄宗。虎落平陽被犬欺，如今一個宦官都能爬到自己頭上作威作福，唐玄宗怎能不惱不怨不恨，所以沒過多久，唐玄宗就積鬱成疾。美人不再，天倫之樂享受不到，連最貼心的仆人也離開了，此時的唐玄宗頓覺生無可戀，漸漸開始絕食，用來挽回自己作為一代帝王的最後尊嚴。762年，唐玄宗在孤獨中死去，享年77歲。
唐玄宗當政44年，死前竟沒有給自己修建陵墓。唐玄宗去世時安史之亂還未結束，肅宗也在唐玄宗後不久去世，新帝唐代宗倉促之下開始為唐玄宗修建陵墓，泰陵從動工到完成不足一年，其規模可想而知！而泰陵內，陪葬的隻有肅宗母親元獻楊皇後以及老臣高力士。可憐唐玄宗開創了一代盛世，晚年卻不得善終，身後更是被草草下葬，可歎！可悲！