春，王十朋在湖州知州任上。王十朋守夔州時因遇戶部責虛逋錢十四萬，請免不得，乞祠去。在湖州也遇到同樣的情況，這時戶部責湖州虛逋錢三十四萬，其數字高於夔府數倍。湖州連遭災害，百姓困窮，難以供此債務。十朋派吏持券往戶部請求減免，戶部不允。十朋感自己身為湖州父母官，卻不能為州民解此苛稅，為此王十朋上表抗章請祠，被免職。王十朋在《登清風樓呈通判宋子飛》（《王十朋全集·詩集》卷二十五）詩中雲：
苕霅水會處，樓高風快哉。洲中白蘋動，天半故人來。穆入周臣頌，雄勝楚客台。飄飄玉川子，乘興上蓬萊。時時某得祠，子飛攝郡事，酌別是樓，子飛亦將美解，故抗章及之。
可見十朋辭官是因請免虛逋錢不允抗章所致。他在《郡僚展餞席上賦詩》（《王十朋全集·詩集》卷二十五）中雲：
五年三郡厭驅馳，
聖主隆恩許奉祠。
孤嶼眾山重對酒，
清風明月欠吟詩。
心勞撫字政尤拙，
田不荒蕪去亦宜。
餞別同僚三十二，
雲台功業滿相期。
這是一次告別郡僚的宴會，參加者三十二人。席上，十朋說湖州雖有水雲風光，有清風明月之樓，但正遇湖州重災，民事艱難，無暇登樓觀賞、飲酒題詩。現在辭官歸裏，家鄉的江心孤嶼正好可以會朋題詩了。他說自己守湖州八個月，勞心撫民，但深感政事拙劣無甚業績。隻是災後現在田園已無荒蕪，莊稼長勢良好，亦可欣慰。十朋這番話，近似他治湖半年多的自我小結。別湖州時，眾父老前來送行，依依話別，他的《父老》（《王十朋全集·詩集》卷二十五）詩如實地記錄了當時的實際情況：
父老自何處，同來送使君。
手中一爐香，敬為使君焚。
使君無善政，父老何殷勤。
同辭答使君，去秋稼如雲。
淫雨害垂成，一年計徒勤。
使君體上意，租苗放三分。
父老免流離，歡然事耕耘。
年凶米不貴，夜靜犬不聞。
肇眉答父老，正緣此紛紛。
黃堂非坐處，歸軟老桑粉。
從這首十朋與湖州父老話別的詩中，可見湖州父老鄉親對王十朋深切感激之情。災後的湖州由於王十朋的撫愛治理，使百姓免遭流離，凶年糧食不貴，農田及時耕耘種植，社會秩序安然。
王十朋離別湖州行至富春道上，得到孝宗皇帝除任他提舉江州太平興國宮的敕令。他作詩《宿富春舟中》（《王十朋全集·詩集》卷二十五）雲：“餘生今可樂，歸作太平人。”他自然也明白，這時孝宗皇帝已不再強留他。十朋到了嚴陵釣台，很有感慨地寫三首絕句，其中一絕句：“聖主中興急用人，小臣無術讚經論。功名分付雲台士，願學先生事隱淪。”眼下雖是國家正要用人之時，但十朋說自己“無術”自然聖主不用，於是他就學習嚴子陵退隱山林了，這話深有含意。他攜家經嚴州、蘭溪、婺州南下，終於回到了家鄉左原。
王十朋於孝宗乾道四年（1168年）六月從湖州辭官回到家鄉左原，在左原隻住了二個月即被起知泉州，進敷文閣直學士。他在《戊子八月二日得泉州》（《王十朋全集·詩集》卷二十六）詩中雲：“五年符竹換三州，乞得祠宮欲少休。名姓誤蒙君相記，泉南千裏又分憂。”九月十九日，十朋動身離樂清赴任。那天，親朋好友紛紛前來送行，在樂清城南碼頭解纜，依依而別。他在《解舟》（《王十朋全集·詩集》卷二十六）詩中雲：
解舟城之南，橙橘半青黃。時節豈不好，胡為辭故鄉？親朋送我行，殷勤愧壺觴。我欲與之飲，舟去留靡遑，僮仆別我歸，黯然顏色傷。問我何時還，田園又成荒。我心愧其言，老矣身皇皇。五載走三州，道路險且長。屢請方得祠，暫歸又懷章。摯家入南閩，兒女不盡將。餘生疾病多，滿鏡須髯蒼。到官即有乞，行將返耕桑。
十朋此行未全攜眷屬，由樂清轉溫州至瑞安，與幾位好友久別重逢，被邀留宿一夜。《過瑞安》（《王十朋全集·詩集》卷二十六）詩記雲：
我家古樂城，老未識安固。偶把清源麾，首問南塘路。解維日已晏，入境天已暮。張子自陶山（子猷），扁舟惠然顧。沈君壯年別（敦謨），相見發染素。訪舊多不存，來觀莫知數。平原二十人，邂逅喜相遇。謂我宜少留，欲欶不腆具。我驅不敢疾，曲為一宵住。臨江有高閣，登覽可以賦。瀾同孟子觀，日作少陵注。燈火照魚龍，談笑驚鷗鷺。銜杯鄉意濃，竊食君恩誤。晨起酒未醒，潮來報催渡。
離瑞安經平陽入福建長溪，宿飯溪驛、雙岩寺到達福唐，與同鄉丁鎮叔、張器先、項用中、趙知錄、薛主簿、同年孫彥忠等七人聚會小酌賦詩，十朋詩中有：“一同年友七鄉人，勸酒那容耳不聞。”“詩篇共約題孤嶼，遊宦猶疑在五雲”之句。過福州，會晤王之望，時王之望在福州為福建路安撫使。後來王十朋在《贈少保王公墓誌銘》（王十朋《梅溪集·梅溪先生後集》卷二十）中回憶雲：