遊酢身體較好後，正想回老家建陽，這時呂氏卻病倒了。遊酢隻好立即讓三媳婦去請郎中，自己繼續留下來照顧夫人。家庭的事務，全部落在兒媳們的身上。遊拂的媳婦杜氏，她是個極孝順的人，每日必有幾次進夫人房間詢問呂氏：“媽，你覺得身體怎麼樣？”或者“好些嗎？”、“要吃什麼，我去買。”呂氏見媳婦這樣，心理很欣慰，總是溫和地應答。其實，呂氏也想回建陽老家，可是不曾想到自己的身體一日不如一日，病勢日重，想到家庭困難，丈夫又年老多病，因此交代道：“老爺，咱家的景況不怎麼好，你的身體又差，回去老家沒有人照顧，還是先留在這裏，等以後我們身體都好了些再回老家。”遊酢覺得呂氏的話有道理，就安下心來，可是擔心夫人的病重，把這事情寫信告訴了玉兒和秋香。
秋香住在太平州，聞訊趕來看望呂氏。
遊玉與丈夫在江蘇，她收到書信無比傷心，扔下自己的家務，趕來和州曆陽城。
遊酢雖然解甲歸田了，可是地方上的州縣官員不時地有人前來看望，朝廷的官員偶爾路經江淮一帶的州縣，也會順便來探望、慰問。畢竟，遊酢曾經是朝廷的老臣之一。俗話說：“無官一身輕”，遊酢本來是豁達的人，現在退隱在江湖，說話沒有太多的顧忌，灑脫得很，談笑風生。一次，有位朝廷來的官員問遊酢道：“當今，誰可以為濟世者？”遊酢答曰：“陳了翁也。”
沒有想到這番話很快在朝廷傳開。有的大臣說：“知人者，遊酢也。”蔡京等聽了大為不高興，可是遊酢已經是退隱之人，沒得他奈何。
呂氏的病情有了些好轉，她知道玉兒和秋香畢竟都是已經有家庭的人，對她們說道：“我已經沒有事情，再說如果有什麼事情，有你們的哥嫂們會照顧，你們回去吧。”她們觀察了幾天，見夫人病情有了好轉，便回去了。
遊酢自從退居曆陽以來，每天的生活很有規律：晨起臨池練書法，上午出去街上下棋，下午和晚間讀書。
一天，遊損夫婦又來看望父母。遊損再次勸說：“爸、媽，我那兒山水好，到我那兒去比這曆陽清靜。”
遊酢對曆陽有一種深厚的情感，還是堅持留下來。遊損夫婦沒有辦法，回含山去了。
他回顧了自己的一生經曆，聯想到許多的往事，覺得幾十個春秋就像一陣長夢，醒來萬事如煙。這時，他想到還是莊子的《南華經》一書好，這本被禪學所崇奉的經典，蘊涵著深刻的人生哲理，雖然自己年輕以來曾經幾次讀過，十分的喜愛它。可是，他後來入了程門改學儒家的學術，再後來又在官場混了幾十年，一直沒有時間再學習。現在，重新想起它，拿起它，每一天都看它，思想受到很深的觸動，心靈得到了很大的淨化。
莊子說：“人心險於山川，難於知天。天猶有春秋冬夏旦暮之期，人者厚貌深情。”所以，“民之於利甚勤，子有殺父，臣有殺君，正晝為盜，日中穴阫。”是啊，人生是如此的短暫，萬事回頭一場空，可是人世間卻還到處充斥著弱肉強食、爾虞我詐，甚至謀財害命或者血淋淋的廝殺，太殘酷無情了；人類不少人除了自私，還缺乏應有的自愛、互愛、博愛，因此社會變成了賭場、戰場、屠宰場……自己現在到了這個年紀，對莊子的思想比過去理解得更深刻了些，過著“甘其食，美其服，樂其俗，安其居”的生活應當滿足了吧，更有何求呢。
過去，對於莊子的有些話都不敢相信；現在讀起來卻理解了。回想起少年時江側先生所教和青年之後入程門的所學，遊酢覺得各有其所用，不過從立身處世來說，儒、道兩方麵需要完美的結合。可是，從自己幾十年的經曆體驗到，以儒家為正道的朝廷上那些表麵上滿嘴‘仁、義、禮、智、信’的君子，為了爭權奪利，背地裏卻不惜陷害他人，甚至不顧天下蒼生，不用說古代一人犯罪“株連九族”的殘酷，即便是蔡京所製造的“元祐黨碑案”就致使數百名官員、兩千多人背井離鄉、妻離子散、家破人亡，對人們的迫害和摧殘多麼嚴重啊！那些玩弄權術者比猛虎凶惡，比蛇蠍更毒，他們確實遠不如道家或者禪家清白可近。凡是看清了這一點的人們，怎麼再能夠去相信那些道貌岸然的偽君子們呢？
遊酢的思想日益地在向哲學的深處發展。他回憶起洛陽人接花的習俗，經過一段時間的思慮，寫了一首《接花》的詩：
“色紅可使紫，葉單可使千。花小可使大，子小可使繁。天賦有定質，我力能使遷。自矜接花手，可奪造化權。眾聞悉驚詫，為我屢歎籲。用智固巧矣，天時可易歟？我欲春采菊，我欲冬賞桃。你不能栽接，你巧亦徒勞。雨露草必生，霜雪鬆不死。有本性必生，亦時雨與之。所遭有變易，是亦時所為。時乎不可違，何物可違時？”
欲知後事如何？且聽下回分解。