元和十年秋，厄運終於落到了白居易頭上，於是，就有了第三次“約會”。
在《與楊虞卿書》中記載較詳細：“去年六月（指元和十年六月）盜殺右丞相於通衢中，迸血髓，磔發肉，所不忍道。合朝震驚，不知所雲。仆以為書籍以來，未有此事。國辱臣死，此其時耶！苟有所見，雖畎之臣，不當默默，況在班列，而能勝其痛憤耶？故武相之氣平明絕，仆之書奏日午入。兩日之內，滿城知之，其不與者，或誣以偽言，或誣以非語。且浩浩者，不酌時事之大小，與仆言當否，皆曰：‘丞郎、給事，諫官，禦史尚未論請，而讚善大夫何反憂國之甚也？’”權臣們借這一由頭，織羅“有傷明教”的罪名，終於將他貶為江州司馬。
到江州後，他寫了一首《昭君怨》記錄“約會”過程：“明妃風貌最娉婷，合在椒房應四星。隻得當年備宮掖，何曾專夜奉幃屏。見疏從道速圖畫，知屈那教配虜庭。自是君恩薄如紙，何經一向恨丹青。”在詩中，他向王昭君完全敞開了心扉，明為寫明妃，實質說自己，談理想，論現實，表義憤，展膽量，特別是“君恩薄如紙”一句，認識上有了巨大的飛躍，說明白居易的思想在發展變化，他的這種見解在前人的詠昭君詩中是難得一見的。從這種意義上說，這首《昭君怨》不僅是白居易詠王昭君最光輝的一篇，而且是所有詩人詠王昭君詩中最光輝的一篇。
在這次“約會”中，王昭君已完全成了白居易的紅顏知己，是冰肌雪骨一般的妙人，她將永遠如同一樹花似的，在白居易的思緒裏總也開不完。
第四次“約會”：是近距離的探望，聽她淺淺的笑聲、淺淺的話語，審美情趣驟變。
白居易三年江州司馬任滿，升忠州剌史，途經昭君村，他的夢便再沒有離開過，他將自己寄存在這個村莊裏。他在《過昭君村》裏這樣寫道：“靈珠產無種，彩雲出無根；亦如彼殊子，生此遐陋村。至麗物難掩，遽選入君門；獨美眾所嫉，終棄於塞垣。唯此希代色，豈無一顧恩？事排勢須去，不得由至尊。白黑即可變，丹青何足論！竟埋岱北骨，不返巴東魂。慘淡晚雲水，依稀舊鄉園。妍姿化已久，但有村名存。村中有遺老，指點為我言。不取往者戒，恐貽來者冤。至今村女麵，燒灼成瘢痕。”
把這首詩，放在白居易整個詠王昭君詩的係統中分析，趙炎發現，王昭君的形象似乎又遙遠起來了，甚至有了一些凡俗的意味。“至今村女麵，燒灼成瘢痕。”不但王昭君成了村女，容貌也被燒傷了。而且，從“獨美眾所嫉”、“白黑既可變，丹青何足論。”“事排勢須去，不得由至尊。”等句子來看，白居易顯然在為帝王開脫。
在江州時，他認為：“宦途自此心長別。”“時有沉冥子，姓白字樂天，平生無所好，見此心依然，如獲終老地，忽乎不知還。”還說：“時來昔捧日，老去今歸山，倦鳥得茂樹，涸魚反清源，舍此欲焉往？人間多險艱！”顯然作者以為這一輩子是要終老江州的，宦途無望。但這時，卻要升他之官，自然他認為這是皇恩澤及，“為感君恩須暫起，廬峰不擬住多年。”“假著緋袍君莫笑，恩深始得向忠州。”在這樣的思想支配下，為君王開脫，在情理之中。
所謂距離產生美，此話一點不假。自從白居易去過昭君村以後，這段“人鬼未了情”就戛然而止了。此後，他一直沒有專題詠歎王昭君，也沒有萌生再次“約會”的念頭，僅在六十二歲時，同幾位客人嘲笑一雪中騎馬的妓女，在結尾處點到了“王昭君”三個字：“雪中君看何所似？王昭君妹寫真圖。”
這時的白居易身為大官，有祿有位，有閑有酒，他的命運與王昭君再無任何相似之處，他的精神家園也不再需要王昭君了，記憶中僅存“貌為後官第一”這樣一個美妙的外形，有幾分風情罷了。