嘉慶三年，他的母親馮氏去世後，豐紳殷德寫了《自適吟》表達思念之情，其中不免提到對富貴生活的一種厭惡和對田園生活的無限憧憬：“人生貴子適，身外更何求？頗羨陸東美，翻思馬少遊。才宜置邱壑，福不類王侯，仆仆風塵裏，真堪呼馬牛”。
正在豐紳殷德在朝中的官職節節高升之際。不料，嘉慶四年風雲突變。因父親和牽連，豐紳殷德所襲公爵被降為伯爵，並被勒令“在家閑居，不許出外滋事”。不久，從和家內抄出正珠朝珠，又被革去伯爵，賞給散秩大臣銜，承襲三等輕車都尉世職。嘉慶七年三月，因川楚陝三省白蓮教起義基本被平定，豐紳殷德被賞給民公品級，在散秩大臣上行走。
人走背運，喝口涼水也塞牙，自從父親死後，豐紳殷德是處處小心，惟恐有人抓住把柄。嘉慶八年，已革長史奎福控告豐紳殷德演習武藝謀為不軌，並欲毒害公主；將侍妾帶至墳園，於國服內生女等，經大學士董誥與留京王大臣審辦，隻有在國服內妾生一女屬實，豐紳殷德隨即被處以“在家圈禁，令其閉門思過”的處罰。
其實，自從豐紳殷德經曆家庭變故後，名利心更被消磨殆盡，開始變得更為消沉。《逍遙吟》詩中寫道：“亦莫戀此身，亦莫厭此身。此身何足戀，萬劫煩惱根。此身何足厭，一聚虛空塵。無戀亦無厭，始是逍遙人”。和珅死後，豐紳殷德門前車馬甚是稀落，加上身體多病，豐紳殷德開始沉湎於追求道家的長生術。昭《嘯亭雜錄》中就記載豐紳殷德“中年慕道，與方士輩講養生術”。
嘉慶十一年正月，豐紳殷德被授予頭等侍衛，在大門上行走的差使。四月，升任正白旗蒙古副都統，賞戴花翎。次年二月調任鑲藍旗滿洲副都統，十二月賞給伯爵銜。十五年四月去世，嘉慶帝特派英和帶侍衛十人前往祭奠，並齎賜陀羅經被，銀五千兩以資料理喪務，照公爵銜給予恤典。因無子，豐紳殷德的輕車都尉世職轉由和琳之子豐紳伊綿承襲。
和珅的次子生於乾隆六十年，老來得子，他自然是喜不自勝，況且這個孩子“生而穎異，每逢啼哭，乳母抱赴屏壁間，指點字畫，即轉啼為笑”。因此，和珅非常喜愛，並將書香門的希望寄托在他身上。誰知此子不到兩歲就夭折了，這給和家帶來很大的打擊。他因此還寫了詩詞來寄托自己的悲傷之情。其中在《七夕節得家信，聞幼兒病勢增劇，不意竟以是日夭折，悼惜之餘，感而成詩》寫到：
河漢盈盈兩淚傾，
都關離別恨難平。
雙星既有夫妻愛，
應識人間父子情。
隨後所做《憶悼亡兒絕句十首》中也有：
老來惜子俗皆然，半百生男溺愛偏；
今竟無情拋我去，幾回搔首問青天。
繈褓即知愛文章，癡心望爾繼書香。
歸家不忍看題壁，短幅長條一律藏。
學語先知父母呼，每逢退食足娛吾。
秋來歸去無聊甚，觸處傷情痛切膚。
就連豐紳殷德聽說弟弟去世的消息後，也十分悲痛。嘉慶元年他還寫了《瀘溪途次聞幼弟凶信挽詞六首》紀念弟弟：
憶得臨行見汝時，曾將果餌笑相嬉。
何期一月零三日，遂使千秋永別離。
記否親承言笑時，曾雲長幼太參差。
並期他日攻書侯，指謂吾堪作汝師。
爾我同生錦繡叢，君親恩育報難窮。
似茲富貴遭夭折，豈若貧寒得壽終。
兩載兄弟今永別，人間泉下路冥冥。
淚盈滄海千秋水，恨厭巒山萬疊青。
由此可見，和珅次子的出生給和家帶來的歡樂，以及夭折後給和家帶來的失望和痛苦。這應該是和晚年受到的最嚴重的打擊之一，同時也表現出他對子女的疼愛之情。
願殉情的吳卿蓮
和珅是乾隆身邊的大紅人，為了顯示身份，身邊自然奴仆成群，姬妾眾多。他除結發妻子馮氏外，尚有愛妾多人，以致有清人說他“後房姬妾無數”。這在封建社會並不是大不了的事，不用擔心因“包二奶”而丟官或被告發。加上和珅為了綿延香火，多娶妻妾多生子女也就有了更加理直氣壯的理由。
他的許多小妾都是各級官員為了巴結他而主動獻給他的，不僅如此，他竟然將出宮女子娶為次妻，甚至把別人遺留下來的小妾納為己有，因此而受到許多人的非議。
妾是封建社會中地位卑下的一個階層，是值得同情的社會犧牲品。她們一般與自己的男人並沒有什麼真感情，隻是他們傳宗接代的生育機器而已。但並非都是如此，當時的她們也有不少人與他們共同擁有的男人還頗有感情，以至於有些人還會為她們喜歡的男人們犧牲自己的性命。和、和琳兄弟就有這樣的魅力。嘉慶元年，和琳死在鎮壓苗民起義的戰場上，他的愛妾殷雲卿即為他殉了葬，使和珅感歎不已。和珅被賜死後，他的不少愛妾也為他自盡了，其中就有吳卿蓮。