不僅如此，於成龍還將直隸省的一批中級高級官員推薦給了皇帝，向皇帝進言道：“以人事君，人臣之誼。臣謬荷知遇，抵任一年有餘，於所屬各官細加察驗，更時為勸勉。”
待一切安置妥當以後，於成龍於康熙二十一年（1682）三月才正式離開直隸，啟程回山西省永寧老家。這一年，於成龍已經整整六十六歲高齡了，此時的於成龍已經是被康熙皇帝欽命為兩江總督，外加兵部尚書銜，已經是從一品的官職了，之前的直隸巡撫和兩江總督一樣，都是從一品，但是兩江總督的權力和管理轄區要比直隸巡撫大多了。於成龍離開老家永寧到廣西做官的時候，僅僅隻是一個正七品官，如今一晃眼二十年過去了，卻成了人人敬羨的封疆大吏。他本可大搖大擺的回到家鄉，讓家鄉父老看看他今日的成就，本可就此威震三晉，然而，於成龍並沒有這樣做，他收起了兩江總督的儀仗，放下了架子。為了不驚擾地方官，於成龍僅僅隻是帶上了幾個隨從，悄悄的回到永寧老家。二十年前的於成龍離開家鄉時，還是一頭青絲，如今隻剩下這滿頭白發，想必這家人的麵貌也發生了變化。
於成龍在經過固關時，還感慨萬分的寫下一首詩：
行行複過井陘口，白發皤皤非舊顏。
回首粵川多壯誌，勞心閩楚少餘閑。
欽承帝命巡畿輔，新沐皇恩出固關。
四十年前經過地，於今一別到三山。
於成龍是身著便裝，騎著毛驢，悄然回到家鄉，一路穿州過縣，過縣不擾，就連公家的驛館也不住，隻是自己掏錢住在一些便宜的客棧。於成龍清廉節儉，身上財物並不多，在臨行前，康熙皇帝又賞賜他幾百兩銀子，作為路費和安葬費。
家裏知道於成龍要回來，於廷翼兄弟早就準備好了一切，就等於成龍回來主持了，於成龍親自將母親的靈柩下葬，將去世的繼母和父親於時煌合葬到一處。根據史書推測，這墓址現就在山西省呂梁市方山縣方山鄉之河東杏葉溝村附近。這次於成龍葬母，地方官員聞訊紛紛趕來，一是為了給於成龍接風，另外就是給於成龍行官場禮數，畢竟這於成龍是一品大員，這地方官巴結還來不及。這次於成龍回來便和老妻邢氏小聚了幾天，與兒孫們好好的享受了一番天倫之樂。
此間，於成龍還私下到訪過他家鄉的很多地方，尤其是安國寺，曾經是於成龍寒窗苦讀的棲身之所，於成龍捐下巨款，資助寺廟的修繕，並且還資助了一些一心求學的貧苦子弟，讓他們也能完成學業，將來考取功名，也好為國盡忠。
於成龍這次回來不僅安葬了母親李氏，也借此機會資助了家鄉的一些民生工程，一路為家鄉父老鋪路搭橋，至於這些錢的來路嘛，基本上都是康熙皇帝賞賜給他的，像於成龍這般清廉之官吏，哪來的這麼多錢資助民生啊。他這樣做，無非是取之於民，還之於民罷了。
於成龍的假期很快就滿了，他也隻好再次離開他的家鄉，如今的於成龍已是六十六歲的高齡，半條腿都埋入了黃土之中，指不定哪天就一命嗚呼了，妻子邢氏勸過於成龍，要他給皇帝請辭告老還鄉，於成龍堅決不同意，正如他所說皇恩浩蕩，他不能不報，百姓需要他，做縣令做知府，隻能是造福一方的百姓，如今做兩江總督，轄區三省，這三省的興衰都掌握在自己手中，百姓需要自己，現在造福的是三省的百姓。妻子邢氏苦勸無效，於成龍無動於衷、一意孤行，邢氏不好依了他。
這一次離開家鄉可能是於成龍最後一次和家人團聚，就他這把年紀，總督任期幾年還能生還。家人不放心於成龍一個人去兩江上任，於是，便安排其幼子於廷元陪同上任，一路上顛簸勞頓，也好有個照應。就這樣，於成龍和其幼子於廷元兩人一起跋山涉水來到兩江首府江寧城上任。
清朝時期的江寧府，正是現如今的江蘇省南京市。此次上任兩江總督，也是於成龍宦海生涯的最後一站，就任兩江總督兩年後便去世，期間並沒有再回過山西老家，這也是於成龍最後的餘生，他是豁出性命為國效力，但求鞠躬盡瘁死而後已。