淳熙五年（1178年），五十四歲離川東歸後的陸遊詩名日盛，一直傳到朝廷裏。一次宋孝宗問寵臣周必大說：“今代詩人誰能與李白相比？”周必大以陸遊對。從此之後，陸遊留下了“小李白”的美名。於是孝宗召見他，先後任命為福州、江西做了兩任提舉常平茶鹽公事。
孝宗非常賞識陸遊的才氣，但是陸遊為人太過於狂放，又性直，這點是為官之大忌，所以終不予重用。陸遊曾經上奏孝宗說要整治朝廷之亂，他舉著笏板指著禦榻說：“天下英雄，睥睨此座者居多。陛下須好作，乃可長得。”
陸遊對孝宗都是這樣的語氣，所以多被一些奸佞小人抓住把柄大加彈劾，陸遊的仕途非常不得誌，一生轉徙於各地，羈旅之苦浸染了他那顆壯誌難酬的心，難怪後來他要將自己命為放翁，大約是一種看不清希望的自我頹廢。
淳熙六年（1179年）秋，陸遊被任為江西常平提舉，主管糧倉、水利事宜。次年，江西水災，陸遊號令各郡開倉放糧，並親自“榜舟發粟”。
同時上奏朝廷告急，請求開常平倉賑災。十一月，陸遊奉詔返京。因陸遊在江西任上“奏撥義倉賑濟，檄諸郡發粟以予民”，給事中趙汝愚借機彈劾陸遊，“不自檢飭、所為多越於規矩”而參他“擅權”，陸遊忿然辭官，重回山陰。
陸遊歸隱會稽山陰，江南水鄉的秀美和民風的淳樸，讓他那顆疲憊的心得到了些許慰藉。他往來於山林村舍之間，生活過得是不亦樂乎。他的詩《遊山西村》作得猶讓人喜歡，“莫笑農家臘酒渾，豐年留客足雞豚。山重水複疑無路，柳暗花明又一村。蕭鼓追隨村社近，衣冠簡樸古風存，從今若許閑乘月，拄杖無時夜叩門”。掃去了胡塵萬裏的蒼涼之意，露出了山水隱士的逸致閑情。在此期間，他寫下了很多清新俊逸的詩篇，真的給人留下了一放翁的形象，看他的一首《點絳唇》：
采藥歸來，獨尋茅店沽新釀。暮煙千嶂。處處聞漁唱。
醉弄扁舟，不怕黏天浪。江湖上。遮回疏放。作個閑人樣。
——陸遊《點絳唇》
淳熙七年，陸遊在江西常平鹽公事的任上，因為私自開倉發放糧食賑濟災民，惹惱了朝廷。被政敵以“擅權”罪名彈劾而落官。陸遊也落得個清靜，在山陰似神仙般地做著他的隱者。
草藥歸來的時候，尋找著茅店，他想去買新醅的酒釀。“綠蟻新醅酒，紅泥小火爐”的晚景甜香醉人，他一杯接一杯地飲著，頓時豪情萬丈。暮煙從山峰褶皺的痕間升起，嫋然縈繞如同置身仙地。山穀中到處在回蕩著他高歌漁曲的聲音。醉後駕一葉扁舟，滔天大浪又是何妨。閑隱在江湖，就是要活出此番真性情來。也學著疏放，做個花底閑人模樣。陸遊的晚年真的很像醉翁歐陽修，徜徉在田園山水間，他們是醉翁之意並不在酒。