還有一次，沈三白要去吳江吊唁，途中將路過太湖，陳芸想去看看太湖。可是陳芸出門沒有借口，於是兩個人商定對策，陳芸假稱回娘家，兩人分頭出門，在江邊會合，二人相挽登船。傍晚，他們與船家的女兒素雲同坐，三人一起飲酒。陳芸和沈複行酒令，素雲從沒見過這樣的情景，就說，我能喝酒，卻不會行酒令，誰教我啊？陳芸對她講了一通，素雲卻聽不明白。沈三白說，女先生還是別說了，我一句話就能讓她明白。陳芸說，是怎樣的一句話？沈三白說，“鶴善舞而不能耕，牛善耕而不能舞”，動物的本性就是這樣的。你想教牛跳舞，教鶴耕地，那不是徒勞嗎？素雲一聽這話，就往沈三白身上打拳，好啊，你在說我！陳芸見此，就說，君子動口不動手。沈三白說，動手也可以，但是隻允許摸索，不能捶人啊。陳芸一聽，就笑著挽起素雲，把素雲摁在沈三白的懷裏，笑說，你就好好摸索吧。沈三白說，摸索應該隻是意動，在有意無意之間；如果抱在懷裏，狂探亂摸，那是農夫的做法，一點情調也沒了。三人就這樣打情罵俏，說說笑笑，歡快無比。後來，陳芸請素雲唱上一曲，素雲唱歌，陳芸在一邊大杯喝酒，玩得可謂盡興。
幾天之後，一個老太太悄悄告訴陳芸說，前幾天夜裏，你丈夫和兩個歌伎在萬年橋下飲酒取樂，你可知道？陳芸說，確有此事，我知道的。其中一個就是我。老太太聽得一頭霧水，經陳芸詳細一說，這才恍然大悟，笑嗬嗬地走了。
類似的事情還有幾件。可以看出，陳芸是個有良好素質，且不落俗套的女人。按理說，她本該一生幸福，可惜其靈性不合時宜。在封建社會，女子應該是大門不出二門不邁的，陳芸偏偏隨意出入家門，男扮女裝隨夫君出遊，自然備受非議。再加上她與沈複都不懂也不屑於世俗的奸猾，終致失歡於公婆和家人，乃至兩次被逐出家門，最後一次被逐後，死於疾病以及貧窮。
一切都是從得罪公婆開始的，但說起來，都不是陳芸的責任。
乾隆五十七年（1792年）春天，大概是在婚後十年左右，沈複的父親沈稼夫在揚州任職，沈複陪侍，兩人同時染病，沈複的弟弟沈啟堂前來侍奉父兄。這時，陳芸寫來一封信，信上說，啟堂曾經向鄰婦借錢，讓陳芸作保人，現在鄰婦索債，找不到啟堂，就向陳芸討要。沈複詢問啟堂，啟堂矢口抵賴，並且責怪嫂嫂多管閑事。後來，沈複就寫了回信，請鄰婦寬限幾天。沈複病愈之後離開了揚州，陳芸不知其情，寫信仍寄到揚州。沈稼夫看到了信中所說啟堂借債之事，就追問啟堂，啟堂不承認此事，於是，沈稼夫認為這是陳芸背著丈夫借債，卻嫁禍於小叔子，當即寄信回去將陳芸逐出家門。沈複知道後，如聞晴天霹靂，當即寫信向父親認罪，並且借了快馬，趕回蘇州家中。但沈父相當決絕，沈複無法，隻好和陳芸搬出家中。偌大個蘇州，竟無安身之處。好在沈複有個朋友叫魯璋，聽到此事之後，很是同情他們，讓他們住在了自家的蕭爽樓上。這麼一住，就是兩年。後來，沈稼夫知道了事情的真相，讓陳芸回到家中，卻沒向陳芸表示絲毫的歉疚。此時的陳芸才32歲，卻已疾病纏身。
就在這個時候，陳芸做出一個非常特別的舉動：給丈夫納妾。
乾隆五十九年（1794年），沈三白的表妹夫徐秀峰新納了小妾，邀請陳芸去看，陳芸看了後說，漂亮是挺漂亮，然而風韻不足。秀峰說，如果你老公納妾，是不是要找那種既漂亮又有風韻的？陳芸說，那是當然。接下來，陳芸真的就開始為丈夫物色側室了，而且做得專心致誌，後來果然就物色到了一個“美而韻”的女子。
這個女子叫憨園，是當時浙江名妓溫冷香收養的一個女兒，“瓜期未破，亭亭玉立”。她是被沈複的一個朋友帶到沈複和陳芸麵前的。陳芸一見憨園就非常喜歡，三人同船去遊虎邱，回家之後，陳芸說，我今天算是看見漂亮而有風韻的女子了，我跟她約好明天見麵，到時候，“當為子圖之”。沈複描述自己一見憨園，就覺得如“一泓秋水照人寒”，而且“私心忐忑”，所以，對陳芸的建議肯定是求之不得，但表麵上卻假裝說道：“你我二人伉儷情深，何必外求呢？”陳芸說：“我自愛之，子姑待之。”
第二天，憨園果然來了。陳芸殷勤款待，很是歡快。憨園回去之後，陳芸說，剛才我和憨園約好了，到18日這天，她來和我結為姐妹，你可要準備上好的飯菜啊！又笑著指了指自己手臂上的翡翠鐲子，說，如果你看見這個鐲子戴在她的手臂上了，事情就成了。到了18日這天，天降大雨，憨園竟然冒雨而至。她和陳芸在屋裏待了很長時間才出來，沈三白不看別處，隻看憨園的手臂，隻見翡翠釧已在憨臂矣！
麗人已得，兩人都很滿意，自此無日不談憨園。可是風雲突變，憨園最後跟了別人，原因是那個人以千金作聘，並且許諾贍養她的母親。客觀上說，憨園並沒有錯，當時沈複入不敷出，自然比不上一個孔武有力而又有錢的男人。這事雖然讓沈複很受打擊，但對陳芸的打擊更大。她是性情中人，並不豔羨鍾鳴鼎食之家，所以無法理解憨園。當她知道憨園另嫁之後，痛心疾首地說：“初不料憨之薄情乃爾也！”
陳芸素有血疾，是因為她的弟弟克昌離家出走再沒有回來，母金氏因此病故，悲傷過度所致。此病時發時止。憨園一事，讓她的舊疾複發。