清康熙二十年（1681年），於成龍政績傳遍京師，康熙在京召見他，稱他為“清官第一”。就在這年冬天，他升任為江南、江西總督。總督，這是明清時代顯要高級的地方官，權勢極大，在清朝做官能做到巡撫、總督這一級大多是久經宦海沉浮的人，這些人一般都明白，自己官已到頭該想想後路了。於成龍與此迥然不同，他在兩江總督任上，仍保持著勤勞務實的作風，一改過去官場那種汙濁風氣。
總督屬於封疆大吏，上任時要有全副儀仗，前有執事喝道，後有兵丁護衛，所經之處，官紳恭候迎送。於成龍卻與眾不同，當去江寧上任時，他與小兒子雇了一輛驢車，袖錢數十文，沿途住宿不投公館，邊走邊訪貧問苦。兩江總督府的官吏按慣例置儀仗，文官武將在城門上恭迎，等候了大半天仍不見人到，眾人正在焦急之時，忽報新任總督早已單車輕裝入街。
於成龍一生勤勞節儉，終年布衣素食，甚至不如老百姓，但他處理政務卻盡心竭力，經常通宵達旦。為官期間，從來沒有攜帶家屬到任所，直到年齡高達65歲時，才不得不帶小兒子在身邊照顧自己。於成龍被任為福建按察使時，臨走前，他讓人買了數百斤蘿卜放在船上，大家都不明白他的意思，問：“買這麼多蘿卜有什麼用？”於成龍回答說：“路上當菜，全靠它了！”任兩江總督之初，適逢當年遭災，於成龍十分惦念災民，將俸祿賑濟老弱病殘者，而自己卻粗茶淡飯，每當青黃不接時，還以糠菜當食充饑。
康熙三十八年（1699年），68歲的於成龍病逝於兩江總督任上，因為他的家屬不在身邊，他的喪事最初全由部屬操辦。將軍督統進入他的居室，見這位總督大人遺物少得可憐，床頭有舊藤箱一個，內有替換的舊衣一套，舊靴子一雙，罐中粗米幾斛，食鹽數斤，此外就是一些書籍。於成龍逝去的消息傳出，江寧城中市民停業，痛哭流涕，許多人家把於成龍的畫像掛在家中祭祀。出殯那天，各界數萬人，步行20多裏，哭聲震天。
第二年十一月，康熙南巡，沿途考查官吏政績。眾百姓一致稱讚於成龍，康熙感慨地對隨行人員說：“朕博采輿論，都稱於成龍為‘天下第一廉吏’。他不愧為百姓的父母官、朕的股肱之臣。”
言行導航
中國人素來喜歡以“清官”和“貪官”來區別官吏之好壞，於是，在漫長的中國封建曆史中，為後人留下了不少愛民、親民、為民的“清官”和貪贓枉法、斂財害民的汙吏形象。而在這眾多的“清官”中，於成龍無愧為“天下第一廉吏”的榮譽稱號。
於成龍勤政廉政，事跡頗多，然而，最難能可貴的是他始終都能言行一致，以身作則，視百姓為衣食父母，將廉政節儉貫穿於自己的一生，體現了一個清政廉潔、親民愛民官員的高風亮節，其一言一行背後所展示的精神境界令人信服。