兩年後，白居易改任太子左讚善大夫——一個不得過問朝政而專門陪伴太子讀書的閑官。這時恰恰發生了宰相被刺客刺死的事情，白居易一腔熱血，上書請求皇上盡快追捕刺客，卻因為越職言事而獲罪，朝廷權貴更是借他母親死亡的事情詆毀白居易不孝。這兩件事讓白居易處於危險的境地，要是皇上明辨秋毫本來可以大事化了，小事化無，可皇上偏偏因為他之前過於直言，對他也有點看法。本是一片忠心，最後落得被貶為江州刺史的下場。如果事情發展到這裏，白居易也會自認倒黴，但沒想到，還有一個官員跳出來，落井下石，說白居易的操行不再適合做官了，最終他被貶為江州司馬。
江州司馬實際上是一個空虛的官職，差不多就是被從京城流放。白居易帶著官場潑給他的髒水和誣陷，失望地來到江州（今九江市），他將那時的心情，完完全全地寫進了詩作《琵琶行》中。《琵琶行》講述了一個完整的故事，詩人江頭送客，忽聽得優美的琵琶聲，便尋著聲音找到彈奏琵琶的女子，邀女子再彈幾曲。女子的琵琶聲飽含感情，如怨如訴。琵琶女彈完後自述身世，說她是長安的歌女，曾經跟隨京城兩位著名的琵琶大師學藝，學成後紅極一時。後來年紀大了，容顏衰老，嫁給商人為妻，常常獨守空船，在江湖之間輾轉流浪。詩人聽後覺得和她同是天涯淪落人，一樣都是鬱鬱不得誌。因此也說起自己的經曆，請琵琶女繼續彈奏，詩人為她寫作這篇《琵琶行》。
《琵琶行》的語言生動形象，凝練優美，具有很強的概括力，整首詩膾炙人口，極易背誦。如琵琶女在作者的邀請下“千呼萬喚始出來，猶抱琵琶半遮麵”，將琵琶女的神態寫得美不勝收。其中對音樂描寫的佳句更是為世人所稱讚，如：
大弦嘈嘈如急雨，小弦切切如私語。嘈嘈切切錯雜彈，大珠小珠落玉盤。間關鶯語花底滑，幽咽泉流冰下難。冰泉冷澀弦凝絕，凝絕不通聲暫歇。別有幽愁暗恨生，此時無聲勝有聲。銀瓶乍破水漿迸，鐵騎突出刀槍鳴。曲終收撥當心畫，四弦一聲如裂帛。東船西舫悄無言，唯見江心秋月白。
音樂是抽象的聽覺體驗，很難用語言描述，但白居易對音樂有很強的感知力，更有精準的表現能力，他將琵琶女絕妙的樂聲表達得淋漓盡致。詩中連用急雨、私語、珠落玉盤等一係列精妙的比喻，用視覺形象、聽覺形象聯合起來比擬音樂，使得琵琶女的彈奏非常具體形象。樂聲飛揚，讀者仿佛身臨其境。伴隨著琵琶聲大小、輕重、急緩、流滯、響止等旋律變化，琵琶女的心潮起伏也表現出來了。
難能可貴的是，在琵琶女一段扣人心扉的身世自白後，詩人覺得和琵琶女“同是天涯淪落人，相逢何必曾相識”。他將自己和歌女放在同等的地位，去感受歌女的悲傷，也抒發自己的不幸。《長恨歌》和《琵琶行》是白居易藝術成就最高的兩首詩，如果以故事性而言，是《長恨歌》寫得更好，因為它曲折婉轉，傳達了一個動人的故事，如果真正以感情和詩人自己的感受來說，《琵琶行》寫得更好，因為其中有詩人更真實的感情。
很可惜的是，被貶江州之後，白居易的政治熱情一蹶不振，思想發生了很大的改變。他對之前一貫遵守的儒家為國為民的信念產生了懷疑，從此以後，他不再大膽直言時事，常常稱病，不負責重大事情，不惹是非，走向了獨善其身式的閑適自娛，甚至變得世故和狡猾了。他津津樂道的處世哲學便是“中隱”，也就是當一個閑官，領著朝167廷的俸祿，不至於為生計奔波受餓受凍，但又不追求仕途顯達，不得罪他人，過著既舒適又安穩的神仙般的生活，作詩也以“閑適詩”為主。
到底是什麼樣的神仙生活呢？根據《窮幽記》記載，他家的池塘遊船上吊有百餘隻空囊，裏麵全裝著美酒。白老爺子時不時宴請賓客來船上消遣，泛舟飲酒，要喝酒時就拉起一隻酒囊，喝完再拉起一隻，喝酒時，還有歌妓絲竹陪伴。這排場連酒仙李白都想不到，更別說囊中羞澀的杜甫了。
白居易的閑適中隱，是以良知與正義感的喪失為代價的。他生活在唐代中晚期，先後經曆了八位皇帝，享年七十五歲的他看過了太多的悲歡離合，太多的榮辱盛衰。其前半生積極進取，後半生明哲保身，以他四十四歲貶江州為界，前後判若兩人。但唯一不變的，是他的詩歌在後世無窮的魅力。