安頓好唐玄宗之後，李輔國從太極宮出來，一臉的怒氣。咬牙切齒的盯著太極宮門，狠聲說道：“神氣什麼啊，你高力士仗著太上皇的勢，在我麵前指手畫腳。咱們等著瞧，我不把你從太上皇的身邊趕走，就不能平息今天的惱怒。”跟隨他一起來的太監董秀，一直巴結他，附和著說道：“都一大把年紀了，還擺昔日的威風，我都替統領不服，內心之中怒不可遏。”
李輔國看了董秀一眼，回轉身子頭一楊，騎上馬飛奔而去。高力士指手畫腳的行為，深深的刺痛了他，在唐玄宗的麵前和公開場合下，他不敢造次。現在唐玄宗已經搬進了太極宮，他的任務已經完成了。董秀等人的言論，又刺激了他。但覺得臉上無光，內心盤算要整倒高力士，出這口惡氣。
高力士雖然為唐玄宗挽回了麵子，作為奴才，維護主子是他的職責，他也知道得罪了李輔國。他依仗太上皇，心想唐肅宗再怎麼樣，也不會對父親不敬。完全不解帝王的心裏，並沒有意識到事情的嚴重性。仍然與往常一樣，陪伴著唐玄宗，盡心盡力的服侍太上皇。
李輔國回到家裏之後，便想辦法整太極宮裏的那些人，他表麵上不動聲色，對太極宮所提的要求都應承下來了。但暗地裏，想方設法搜集罪證，要對高力士等人下手。
通過察顏觀色，他知道唐肅宗對長慶樓的事一直耿耿於懷，便對李隆基登長慶樓事件，進行了認真調查。添油加醋的向唐肅宗參了一本：“啟奏皇上，太上皇去長慶樓，並非偶然事情。而是由高力士、陳玄禮精心策劃的陰謀。太上皇在鬧市之中，向不明事理的百姓，講述，京城沒有往日的繁華，百業蕭條，朝廷平叛不力，讓百姓們受苦了。王承恩、魏悅等人在旁邊鼓動，百姓即高呼萬歲。此乃不軌行為，有損皇上的形象。臣奏請皇上要對太上皇有所節製，不然的話會在京城引起混亂。”
唐肅宗看過奏折之後，極為震怒。他對李輔國說道：“上皇天帝，年事已高，懷念舊時情有可原，不要有不敬的行為。但跟隨他的高力士、陳玄禮這些天帝身邊的人圖謀不軌，你讓中書省擬定處理意見，上奏於朕。”
李輔國對李揆說道：“高力士、陳玄禮等人縱容太上皇，在勤政樓前鬧事，皇上極為震怒。讓中書省提出處理意見，上奏皇上。”
李揆說道：“太上皇在集市上走動一下，百姓呼幾聲萬歲，也沒有大不了的事，如何處理啊？你對高力士等人說一說，讓他們注意一些，以後不要再發生類似的事情。”
李輔國說道：“這是高力士、陳玄禮等人蓄意製造的事件。皇上口諭：‘太上皇年事已高，情有可原，身邊之人圖謀不軌，必須嚴懲。’李丞相是要違背皇上的旨意，對高力士、陳玄禮留情麵嗎?”