高力士深恨脫靴之事了無可奈何。一日，貴妃重吟前所製《清平調》三首倚欄歎羨。高力士見四下無人了乘間奏道："奴婢初意娘娘聞李白此詞一怨入骨髓，何反拳拳如是？"貴妃道："有何可怨？"力士奏道："可憐飛燕倚新妝一那飛燕姓趙，乃西漢成帝之後，則今畫圖中，畫著一個武士，手托金盤，盤中有一女子下舉袖而舞，那個便是趙飛燕個生得腰肢細軟，行步輕盈，若人手執花枝顫顫然，成帝寵幸無比誰知飛燕私與燕赤鳳相通個匿於複壁之中。成帝入宮口聞壁衣內有人咳嗽聲，搜得赤鳳殺之，欲廢趙後，敕其妹合德力救而止，遂終身不入正宮。今日李白以飛燕比娘娘，此乃謗毀之語，娘娘何不熟思？"原來貴妃那時以胡人安祿山為養子人出入宮禁，與之私通，滿宮皆知上隻瞞得玄宗一人。高力士說飛燕一事正刺其心。貴妃於是心下懷恨個每於天子前說李白輕狂使酒個無人臣之禮。天子見貴妃不樂李白，遂不召他內宴，亦不留宿殿中二李白情知被高力士中傷，天子存疏遠之意，屢次告辭求去隻天子不允。
乃益縱酒自廢與賀知章、李適之、汝陽王璡、崔宗之、蘇晉、張旭、焦遂為酒友人時人呼為"飲中八仙"一卻說玄宗天子，心下實是愛重李白一隻為宮中不甚相得，所以疏了些兒人見李白屢次乞歸，無心戀闕乃向李白道："卿雅誌高蹈二許卿暫還，不日再來相召，但卿有大功於朕，豈可白手還山？卿有所需，朕當一一給予。"李白奏道："臣一無所需，但得杖頭有錢，日沾一醉足矣又"天子乃賜金牌一麵，牌上禦書："敕賜李白為天下無憂學士，逍遙落托秀才。逢坊吃酒，遇庫支錢。府給千貫，縣給五百貫，文武官員軍民人等，有失敬者口以違詔論。"又賜黃金千兩，錦袍玉帶，金鞍龍馬，從者二十人白叩頭謝恩，天子又賜金花二朵一禦酒三杯，於駕前上馬出朝，百官俱給假，攜酒送行口自長安街直接到十裏長亭二樽罍不絕。隻有楊太師、高太尉二人懷恨不送個內中惟賀內翰等酒友七人，直送至百裏之外，流連三日而別，李白集中有《還山別金門知己詩》了略雲：恭承丹鳳詔，欻起煙蘿中兒一朝去金馬，飄落成飛蓬，閑來東武吟，曲盡情未終書此謝知己，扁舟尋釣翁兒李白錦衣紗帽，上馬登程，一路隻稱錦衣公子。果然逢坊飲酒二遇庫支錢。不一日，回至錦州，與許氏夫人相見。官府聞李學士回家都來拜賀，無日不醉。日往月來隻不覺半載。一日，白對許氏說要出外遊玩山水，打扮做秀才模樣，身邊戴了禦賜金牌，帶一個小仆二騎一健驢，任意而行。府縣酒資，照牌供給。
忽一日，行到華陰界上，聽得人言華陰縣知縣貪財害民，李白生三回。那知縣在廳上取問公事人觀見了，連聲："可惡、可惡！怎敢調戲父母官！"速令公吏人等兒拿至廳前取問。李白微微詐醉，連問不答。知縣令獄卒押入牢中，待他酒醒，著他好生供狀，來日決斷。獄卒將李白領入牢中兒見了獄官，掀髯長笑。獄官道："想此人是風顛的？"李白道："也不風，也不顛。"獄官道："既不風顛了好生供狀。你是何人？為何到此騎驢搪突縣主？"李白道："要我供狀，取紙筆來。"獄卒將紙筆置於案上，李白扯獄官在一邊，說道："讓開一步待我寫"獄官笑道："且看這瘋漢寫出甚麼來"李白寫道：供狀錦州人二姓李單名白。弱冠廣文章隻揮毫神鬼泣。長安列八仙幾竹溪稱六逸，曾草嚇蠻書，聲名播絕域。玉輦每趨陪兒金鑾為寢室。啜羹禦手調人流涎禦袍拭。高太尉脫靴口楊太師磨墨。天子殿前尚容乘馬行華陰縣裏不許我騎驢入？請驗金牌幾便知來曆。
寫畢，遞與獄官看了獄官唬得魂驚魄散，低頭下拜一道："學士老爺，可憐小人蒙官發遣，身不由己，萬望海涵赦罪！"李白道："不幹你事人隻要你對知縣說，我奉金牌聖旨而來個所得何罪，拘我在此？"獄官拜謝了人即忙將供狀呈與知縣，並述有金牌聖旨知縣此時如小兒初聞霹靂個無孔可鑽，隻得同獄官到牢中參見李學士，叩頭哀告道："小官有眼不識泰山，一時冒犯，乞賜憐憫！"在職諸官聞知此事，都來拜求，請學士到廳上正麵坐下二眾官庭參已畢。李白取出金牌下與眾官看，牌上寫道："學士所到文武官員軍民人等，有不敬者以違詔論。""汝等當得何罪？"眾官看罷聖旨了一齊低頭禮拜："我等都該萬死上"李白見眾官苦苦哀求上笑道："你等受國家爵祿，如何又去貪財害民？如若改過前非，方免汝罪。"眾官聽說，人人拱手，個個遵依，不敢再犯就在廳上大排筵宴，管待學士飲酒三日方散向自是知縣洗心滌慮，遂為良牧二此事聞於他郡，都猜道朝廷差李學士出外口私行觀風考政，無不化貪為廉、化殘為善，李白遍曆趙、魏、燕、晉、齊、梁、吳、楚，無不流連山水，極詩酒之趣了後因安祿山反叛，明皇車駕幸蜀，誅國忠於軍中，縊貴妃於佛寺上白避亂隱於廬山。
永王璘時為東南節度使二陰有乘機自立之誌。聞白大才強逼下山，欲授偽職。李白不從，拘留於幕府。未幾，肅宗即位於靈武拜郭子儀為天下兵馬大元帥下克複兩京。有人告永王璘謀叛，肅宗即遣子儀移兵討之，永王兵敗，李白方得脫身，逃至潯陽江口，被守江把總擒拿一把做叛黨，解到郭元帥軍前，子儀見是李學士，即喝退軍士親解其縛，置於上位，納頭便拜個道："昔日長安東市，若非恩人相救，焉有今日！"即命治酒壓驚，連夜修本，奏上天子，為李白辨冤，且追敘其嚇蠻書之功，薦其才可以大用，此乃施恩而得報也。正是：兩葉浮萍歸大海人生何處不相逢。時楊國忠已死，高力士亦遠貶他方，玄宗皇帝自蜀迎歸為太上皇一亦對肅宗稱李白奇才。肅宗乃徵白為左拾遺白歎宦海沉迷，不得逍遙自在，辭而不受。別了郭子儀二遂泛舟遊洞庭嶽陽，再過金陵泊舟於采石江邊。是夜月明如晝兒李白在江頭暢飲，忽聞天際樂聲嘹亮下漸近舟次。舟人都不聞人隻有李白聽得。忽然江中風浪大作二有鯨魚數丈，奮鬣而起，仙童二人手持旌節，到李白麵前，口稱："上帝奉迎星主還位隻"舟人都驚倒，須臾蘇醒二隻見李學士坐於鯨背，音樂前導二騰空而去。明日，將此事告於當塗縣令李陽冰，陽冰具表奏聞。天子敕建李謫仙祠於采石山上，春秋二祭。
到宋太平興國年間有書生於月夜渡采石江下見錦帆西來。船頭上有白牌一麵寫"詩伯"二字。書生遂朗吟二句道："誰人江上稱詩伯？錦繡文章借一觀！"舟中有人和雲："夜靜不堪題絕句，恐驚星鬥落江寒。"書生大驚，正欲傍舟相訪，那船泊於采石之下一舟中人紫衣紗帽，飄然若仙口徑投李謫仙祠中。書生隨後求之祠中上並無人跡。方知和詩者即李白也，至今人稱"酒仙"、"詩伯"皆推李白為第一。雲：嚇蠻書草見天才個天子調羹親賜來。
一自騎鯨天上去口江流采石有餘哀。