乾道二年（1166年），陸遊移居紹興城南鏡湖之濱的三山：“憶自南昌返故鄉，移家來就鏡湖涼。”從此，陸遊便定居於此，過著賦閑的生活。主和派的排斥，使陸遊失去了為國效命的機會，他的心情十分苦悶。但陸遊捫心自問，自己的言行光明正大，是為了國家的統一而奮鬥，這又有什麼過錯呢？麵對投降派的打擊，陸遊沒有屈服，紗帽可以不戴，但嘴是無論如何也封不住的。投降派誤國誤民，雖然猖狂一時，但不會長久，不會有好下場，陸遊對這些人投以鄙夷的目光：
十月江南未擁爐，癡蠅擾擾莫嫌渠。
細看豈是堅牢物，付與清霜為掃除。
——《十月苦蠅》
陸遊在閑居期間，除了讀書吟詩之外，也常投身到農村和大自然的懷抱中，他對故鄉美麗的湖山風光和淳樸的民風民俗的感情越來越深。詩人以喜悅的心情和輕快的筆調描繪了一幅幅江南農村風情畫：
莫笑農家臘酒渾，豐年留客足雞豚。
山重水複疑無路，柳暗花明又一村。
蕭鼓追隨春社近，衣冠簡樸古風存。
從今若許閑乘月，拄杖無時夜叩門。
——《遊山西村》
轉眼之間，四年過去了，陸遊的子女漸漸長大，家庭負擔越來越重，生活逐漸陷入貧困中，以至於靠野菜度日。在這種情況下，陸遊沒有別的出路，隻希望得到一官半職，解決眼前的困難，同時也可以借此尋求立功報國的機會。
乾道五年（1169年）十二月六日，朝廷任命陸遊為夔州（今四川奉節）通判，雖然被派到遙遠偏僻的地方，陸遊還是決定再次踏上坎坷不平的仕途。乾道六年（1170年）初夏，一個天氣晴和的日子，陸遊帶著家眷離開故鄉山陰，前往臨安，又經運河入長江，溯流西上，途經江蘇、安徽、江西、湖北、湖南，於十二月二十七日到達四川夔州。一路上，詩人遊覽山川名勝，憑吊曆史古跡，觀察地理形勢，了解民情風俗，這些都豐富了詩人的見聞，使他增長了知識，對他的詩歌創作是有著積極意義的。不久之後，陸遊將這半年多的旅途生活，以日記的形式加以整理，寫成了一部《入蜀記》，文字優美，保存了很多有價值的曆史地理資料。
陸遊在夔州的官職是左奉議郎通判軍州主管學事兼管內勸農事，實際上仍是一名無足輕重的閑官。詩人遠離故鄉，僻處山城，交遊稀少，難免有漂泊寂寞之感，加之強敵未滅，國恥未雪，壯誌難酬，由此感到悲憤惆悵。不管走到哪裏，陸遊總是不忘國事，甚至在夢中都為國家的複興出謀劃策：
夢裏都忘困晚途，縱橫草疏論遷都。
不知盡挽銀河水，洗得平生習氣無？
——《記夢》
可見，陸遊雖然曾因關心國事而一再遭到排斥和打擊，但要他改變自己的態度和習慣卻是不可能的。詩人在寂寞苦悶中，常常登山臨水，在峰頂峽穀中寄托自己的情懷。恰巧的是，夔州是唐代大詩人杜甫晚年曾經寄居之地，有很多杜甫的遺跡。陸遊在公務之餘，常常來到杜甫的故居，憑吊這位愛國的詩人。對杜甫的推崇，也促進了陸遊詩歌藝術水平的提高。
乾道七年（1171年），陸遊得了場大病，過了四十多天才痊愈，夔州的薪俸本來不多，加上任期快滿，生活又陷入了貧困之中。他不得不考慮未來的生活，或是籌措路費回家，或是另謀一個職位。在陸遊舉棋不定的時候，傳來了一個好消息：王炎出任四川宣撫使，並邀他到南鄭的幕府中工作。陸遊十分高興，不等夔州任滿便準備啟程去赴新任，一年多的夔州生活就這樣匆匆結束了。