花落花開，冬去春來，轉眼已是鹹豐十年（1860%）的春天，雖說一樣的姹紫嫣紅，鶯歌燕舞，但人們眼中隻有恐慌沒有春光，心頭像籠上了一片濃重的烏雲。“長毛要打過來哉！”這個令人心悚的消息已經傳了幾年，眼看著太平軍真的到了家門口，鎮上的居民開始騷亂不安，紛紛帶上值錢的東西，有的去太湖東山、西山的親戚家避難，有的逃往上海英法租界尋求庇護。錢家老三遣散家仆，收拾起金銀細軟，攜妻挈兒，也匆匆去了上海；老大錢炎已於前年去世，老妻李氏把兩個未成年的兒女托給了三弟錢煦，自己卻死活不願離開潛園。
錢端溪也沒有離開木瀆，他實在是割舍不下這座端園，這裏的亭榭樓台，山水草木，對他而言就像是自己的親人骨肉一樣，要他離開端園就等於要了他的命。再者，他已年過六旬，對生死早已看得很透。
太平軍攻占蘇州城後，很快派兵進駐木瀆這座吳西的著名商埠，四月十三日夜，一把大火燒了位於斜橋堍的吳縣縣丞衙署，火借風勢，竟越過斜橋，向西蔓延。這時的木瀆隻剩下一些老弱病殘留守，幾成空鎮，哪有人來救火，一夜之間，大火燒毀了大半條西街，潛園和息園無一幸免，成了灰燼。六月初，太平軍又焚燒了鎮郊範家場至沈巷、吳巷等十三個村。年底，又將靈岩山寺焚毀殆盡。如今木瀆斜橋西還有“老園上”的地名，即潛園、息園故址所在。
望著靈岩山頂燃起的衝天大火，錢端溪盡管萬般痛心，也隻能無奈地蝸居在端園之內，默默地為這座僅存的名園祈禱。也許是上蒼顯靈，端園終於平安度過了這場劫難。可是，錢端溪飽受驚嚇加上憂慮過度，竟一病不起，於第二年初春撒手歸西。由於連年戰火和天災，蘇南社會經濟每況愈下，民不聊生，大量農田拋荒，無人耕種。錢家雖有良田，卻隻能眼睜睜地看著它被野草吞噬，成為一片荒蕪。錢家兒女靠變賣園中的家具和字畫勉強度日。可憐一代名園，幾成廢圃。
第三代主人嚴國馨和他的羨園
嚴國馨造四季花園是要讓好風水在輪回中傳承
錢家在鹹豐兵火之後，家道式微，子孫僅靠變賣家產度日，並無其他生計，但是，端園畢竟名園風采，山石累累，池水粼粼，亭榭花木崇麗而幽雅，故仍有不少文人雅士慕名而來，發懷古追遠之幽情，有的還貪其清靜，借寓一年半載不等，在此著書立說。這對錢家來說倒也是一筆額外收入，聊以貼補家用。
俗話說“坐吃山空”，到了光緒二十七年（1901$）的大年夜，錢家的子孫賣完了園內最後一件值錢器物，總算勉強過了一個新年。看著家中四壁空空，再無值錢的東西可以變賣，錢氏尋思：看來祖上留下的這座江南名園自己是無力支撐下去了，與其讓它一天天殘敗荒圮，倒不如趁早尋個好買主轉讓出去，這樣，祖宅名園不致毀廢，自己也可以憑這筆轉讓金置一處臨街店鋪，做些小本生意，勉以度日。這個念頭錢氏想了很久，但遲遲下不了決心：畢竟這是祖上留下的基業，自己不能將它光大，任其荒蕪，已是大逆，如今竟要變賣祖宅，這實在是件有辱祖宗顏麵的事。
年後不久，錢氏就去西街拜訪嚴國馨，把自己思慮多日的打算和盤托出。他找嚴國馨倒不是看中他是木瀆首富，出手比別人闊綽大方。論財富，木瀆的富人不少；若論品性操行，為人處事，嚴先生可謂鶴立雞群，有口皆碑。把祖上遺園交給嚴先生，錢氏比較放心。
聽了錢氏一番打算，嚴國馨正中下懷。當年，老父嚴徵祥攜母親朱氏從東山來木瀆經商，吃盡千辛萬苦，積勞成疾，一病歸西，臨終前留下遺囑：由二兒國馨繼承其業。嚴國馨奉父遺命舉家遷往木瀆，苦心經營數十春秋，終於發跡，成為一方豪富。嚴家自國馨遷居木瀆至今一直居住在西街老宅，當時，四個兒子年幼，擠在一起尚能勉強，如今兒孫滿堂，幾十號人同住一個屋簷下，婆媳妯娌間就難免有些摩擦。自己年逾六旬，生意場上漸感力不從心，該是讓孩子們分家獨立的時候了。嚴國馨計劃把自己經營的產業交給四個兒子打理，自己則另構一處宅園，奉母頤養，安享晚年。如今，錢家願意出讓這座江南名園，自己樂得順水推舟，做個人情。