地方人見他懼怕，向日曾受害的，齊來叫罵。便是沒幹涉的，也乘著興喧喧嚷嚷，聲言要放火焚燒，亂了六七日。吾愛陶正無可奈何，恰好署攝稅務的官員到來。從來說官官相護，見百姓擁在衙門，體麵不好看，再三善言勸諭，方才散解。放吾愛陶出衙下船，吩咐即便開去，岸上人預先聚下磚瓦土石，亂擲下去，叫道："吾剝皮，你各色俱不放空，難道這磚瓦不裝一船，回去造房子。"有的叫道："吾剝皮，我們還送你些土儀回家，好做人事。"抬起大泥塊，又打下去。這一陣磚瓦土石，分明下了一天冰雹。吾愛陶躲在艙中，隻叫快些起篷。那知關下擁塞的貨船又多，急切不能快行。商船上又拍手高叫道："吾剝皮，小豬船。人載船在此，何不來抽稅？"又叫道："吾剝皮，岸上有好些背包裹的過去了，也該差人拿住。"叫一陣笑一陣，又打一陣薈薈。吾愛陶聽了，又惱又羞，又出不得聲答他們一句，此時好生難過。正是：饒君掬盡三江水，難洗今朝一麵羞。
後來新提舉到任，訪得王大郎果然冤死。憐其無辜，乃收他的空房入衙，改為書齋，給銀五百兩與楊氏，以作房價。叫他買棺盛殮這七個屍骸，安葬棄下的這七口停櫬。商民見造此陰德之事，無不稱念，比著吾剝皮，豈非天淵之隔。這也不在話下。
再說吾愛陶離了荊州，由建陽荊門州一路水程前去。他家的小船，原期停於襄陽，等候同行。吾愛陶趕來會著，方待開船，隻見向日差回去的家人來到，報說："家裏去不得了。"吾愛陶驚問："為何？"家中人道："村人道老爺向日做秀才，尚然百般詐害。如今做官，賺過大錢，村中人些小產業，盡都取了，隻怕也還嫌少。為此鳴鑼聚眾，一把火將我家房屋，燒做白地。等候老爺到時，便要搶劫。"吾愛陶聽罷，嚇得麵如土色道："如此卻怎麼好？"他的奶奶，頗是賢明，日常勸丈夫做些好事，積此陰德，吾愛陶那裏肯聽。此時聞得此信，歎口氣道："別人做官任滿，鄉紳送錦屏奉賀，地方官設席餞行，百姓攀轅臥轍，執香脫靴，建生祠，立下去思碑，何等光彩！
及至衣錦還鄉，親戚遠迎，官府恭賀，祭一祭祖宗，會一會鄉黨，何等榮耀！偏有你做官離任時，被人登門辱罵，不容轉身。
及至登舟，又受納了若幹斷磚破瓦，碎石殘泥。忙忙如喪家狗，汲汲如漏網魚，亡命奔逃，如遭兵燹。及問家鄉，卻又聚黨呼號，焚廬蕩舍，擯棄不容，祖宗塋墓，不能再見。你若信吾言，何至有家難奔，有國難投？這樣做官結果，千古來隻好你一人而已。如今進退兩難，怎生是好？"吾愛陶心裏正是煩惱，又被妻子這場數落，愈加沒趣，乃強笑道："大太夫四海為家，何必故土。況吾鄉遠在西郵，地土瘠薄，人又粗鄙，有甚好處。久聞金陵建康，乃六朝建都之地，衣冠文物，十分蕃盛。從不曾到，如今竟往此處寓居。若土俗相宜，便入籍在彼，亦無不可。"定了主意，回船出江，直至建康。先討個寓所安下，將士兵從役船隻，打發回去，從容尋覓住居。因見四方商賈叢集，恐怕有人聞得姓名，前來物色戲侮，將吾下口字除去，改姓為五，號湖泉，即是愛陶的意思。又想從來沒有姓五的，又添上個人字傍為伍。吩咐家人隻稱員外，再莫提起吾字。自此人都叫他是伍員外。買了一所大房屋住下，整頓得十分次第。不想這奶奶因前一氣成疾，不久身亡。吾愛陶舍不得錢財，衣衾棺槨，都從減省。不過幾時，那生兒女的通房，也患病而死。吾愛陶買起墳地，一齊葬訖。
那吾愛陶做秀才時，尋趁閑事，常有活錢到手。及至做官，大錠小錁，隻搬進來，不搬出去，好不快活。到今日日摸出囊中物使費，如同割肉，想道："常言家有千貫，不如日進分文。