1929年11月間，王映霞為鬱達夫生下了第一個男孩鬱飛，一年半後，又生了第二個男孩鬱雲。家庭用度也隨之增加不少，而且隱居富陽的孫荃母子的生活開支，也要靠鬱達夫寄錢去接濟。
1933年4月25日，鬱達夫舉家從上海遷回杭州，不到兩個月，王映霞又為鬱達夫生下了第三個兒子鬱亮。但鬱亮在世僅兩年半，因患結核性腦膜炎而夭折。
1935年深秋他們開始建造自己的住宅，直到次年四月才竣工，取名為“風雨茅廬”。其間，鬱達夫煩於泥土磚瓦的幹擾，於1936年的正月十三離開杭州，到福州漫遊去了。到福州後，接受了福建省政府的委派，擔任省府參議，負責經濟設計方麵的工作。當他從福建趕回時，王映霞已經遷入新居。鬱達夫在風雨茅廬隻住了三天，便又趕往福州供職。這年8月13日，王映霞生下了第四個男孩鬱荀。
鬱達夫遠赴閩地，給王映霞減少了許多約束的力量，甚至留下了充分的空檔。她把都飛、鬱雲交給母親照管，還請了一個保姆看顧鬱苟。自己搖身一變，打扮得花枝招展，毫無顧忌地去廣結善緣了。
1938年12月28日，鬱達夫和王映霞攜長子鬱飛離福州去新加坡。當天晚上，南洋文藝界朋友在著名的醉林居酒家舉行了盛大公宴，為他洗塵接風。宴席上，鬱達夫結識了年僅21歲，具有傾國傾城之貌的歌星玉嬌，並和他度過了如膠似漆，甜甜蜜蜜的三天夫妻生活。
兩人分手後，鬱達夫仍然時時思念著玉嬌，隻是無緣再見。他與王映霞之間原有的感情裂痕也因此更為加深了。
正在這時，香港《大風旬刊》的編輯陸丹林寫信向鬱達夫約稿，他就將近來寫的20首舊體詩詞，加上“新注”，集成一組《毀家詩記》交予陸丹林。這組詩詞毫無保留地暴露了他們婚變的內幕，同時公開了妻子所謂“紅杏出牆”的豔事。
這一組詩詞轟動了國內外。對於丈夫的這一行為，王映霞自然是不能容忍的。雖經朋友多方麵調解周旋，但已無法恢複過去的感情，於是協議離婚，並各在報上自登啟事宣布於眾。
鬱達夫於1940年和王映霞離婚後，李筱英突然出現，使他本來已一潭死水的心池，又掀起波瀾。李筱英是福建人，畢業於上海暨南大學。能說流利的英語、上海話。1941年，李筱英剛滿26歲，因和丈夫意見不合而離婚。當時她是新加坡情報部的華籍職員，後又擔任新加坡電台的華語播音員。
李筱英十分崇拜鬱達夫的文學才華，並主動向他求愛。
46歲的鬱達夫在政治失意和家庭破裂之餘，遇上這位花容月貌的佳人，一拍即合，兩人感情迅速發展。不久，李筱英便搬進都家同居。
但是，兩人的結合遭到了當時年僅13歲的鬱飛的反對。
雖然李筱英極力想搞好和鬱飛的關係，但他始終不領情。鬱達夫礙於兒子不接受李筱英，也不便正式結婚。1941年12月，李筱英痛苦地搬出了鬱家。
1943年，鬱達夫在印尼化名趙廉，在巴爺公務和朋友合開趙豫記酒廠。9月，經朋友介紹，和華僑姑娘何麗有結姻。
何麗有是廣東人，本名陳蓮有，因其貌平平，鬱達夫跟她開玩笑，改名何麗有，即何麗之有。因她沒有受過教育，不懂華文，欣然接受了這個名字。她一直以為鬱達夫是普通酒廠老板，直到1945年9月17鬱達夫被日本憲兵槍殺，人家才告訴她鬱達夫是中國文化名人。
何麗有和鬱達夫生了一子一女，兒子取名鬱大雅（亞），含有諷刺日本軍國主義推行的“大東亞共榮圈”之意；女兒美蘭在鬱達夫被害的第二天誕生。
鬱達夫的原配妻子孫荃，與鬱達夫分居後就吃長素，念佛誦經，沒有再嫁。1978年3月29日逝世，享年82歲。