過了一年多，王公被王給諫同黨的人彈劾，革了職。王家藏有廣西巡撫送的一隻白玉花瓶，價值數千金，這時想拿它賄賂當權的人。小翠很喜歡這隻花瓶，拿在手中把玩，一不小心掉在了地上，跌得粉碎。她羞愧地跑去向公婆認錯。王公夫婦正為丟官的事心中不快，現在聽說寶瓶也打碎了，不由怒從心起，兩人把小翠罵了一頓。小翠惱怒異常，跑到元豐房間，對元豐說道：“我在你家，替你們保全的不止一隻花瓶，為什麼就不肯留一點麵子給我呢？老實告訴你吧，我不是凡人，隻因為我母親遭雷霆之劫，受過你父親保護，又因為我們倆有五年的緣分，所以我來報前恩了宿願。我挨的罵都數不清了，所以不走，是因為五年的緣分沒滿。如今我還能再呆下去嗎？”說罷，氣衝衝地走了出去。元豐追到門外，小翠已不知去向。
王公口頭裏不肯服輸，但心中卻十分後悔。。元豐每次進房，見到小翠用過的脂粉和留下的鞋子，總要哭得死去活來，覺也睡不好，飯也吃不下，人一天天消瘦下來。王公急得要命，急著替他續娶，以解除他的悲痛。但元豐卻不願意，隻是請來一位名畫師，替小翠畫了一張像，日夜供奉祈禱。一晃就過了兩年。
有一天，元豐偶然因事從別處回家，已經明月當空，村外有他家的一座花園，他騎著馬從花園牆外經過，聽到園內有說笑聲，便停下馬來，叫馬夫勒住韁繩，自己站在馬鞍上向裏麵望。隻見兩個女郎正在園中遊戲，因為月亮被雲遮著，昏昏蒙蒙，看不大清楚。隻聽得一個穿綠衣裳的說道：“這丫頭應當趕出門去！”一個穿紅衣裳的答道：“你在我家花園裏玩，想要趕誰出去？”綠衣女道：“這丫頭真不害羞！不會做媳婦，被人家休了出來，還要冒認人家的財產嗎？”紅衣女道：“總比你這嫁不出去的老丫頭強些！”元豐聽那紅衣女說話的聲音，很像小翠，便連忙喊她。綠衣女邊走邊說道：“我暫且不和你爭論，你男人來了。”紅衣女就走了過來，果然是小翠。元豐高興極了。小翠叫元豐爬上牆頭，接他過去，說道：“兩年不見，你竟瘦得隻剩下一把骨頭了。”元豐握著小翠的手，一邊哭著，一邊訴說思念之苦。小翠說：“我也知道，但隻是沒臉再見你們家的人。今天和大姊在這裏遊玩，想不到又會碰到你，可知姻緣是逃不掉的。”元豐請小翠一道回去，她不肯；請她留在園中，她同意了。
元豐差遣仆人趕快回家，稟報王夫人。夫人很吃驚，起身坐了轎子趕來。打開大門，走進園亭，小翠忙迎接跪拜。夫人拉著小翠的臂膀，流著眼淚，不斷向小翠賠禮道歉，說道：“如果你不在記恨我那麼就請你同我一道回去，使我晚年能得些安慰。”小翠堅決推辭不肯。夫人擔心花園荒涼，打算多派幾個人來服侍。小翠道：“我什麼人都不願意見。隻是從前跟我的兩個丫環，天天和我在一起，我對她們還是很想念的。外麵再派一個老仆看門，其他人都不需要了。”夫人答應了。對外隻說兒子在花園裏養病，每天給他們送去吃的和穿的。
小翠常勸元豐另外娶妻，元豐不依。過了一年多，小翠的容貌和聲音，漸漸變得和從前不一樣了，取出畫像一對照，完全好像兩個人。元豐大為奇怪。小翠說道：“你看我現在比過去美嗎？”元豐道：“你現在美雖然美，但好像不如以前了。”小翠道：“想必是我老了。”元豐道：“你才二十多歲，怎麼會這麼快就老。”小翠笑著把畫像燒了，元豐上前奪取，已經成了灰燼。
一天，小翠對元豐說：“從前在家時，公公說我到死也不會生孩子。現在雙親都老了，你又是個獨子。我真的不能生育，怕誤了你家傳宗接代。我勸你還是另娶一個妻子在家裏，早晚也好由她來眼侍公婆，你兩邊跑跑，也沒有什麼不便。”元豐答應了，就聘定了鍾太史家女兒。婚期近了，小翠忙著為新娘做了衣服、鞋子，送到王夫人那兒。及至新娘過門，她的言談、容貌、舉止，與小翠一模一樣。元豐十分驚奇，再到園亭中去找小翠，已不知去向。問丫鬟，丫鬟取出一塊紅巾說：“娘子暫時回娘家去了，留下這紅巾叫我交給你。”元豐展開紅中，見係著一塊表示再也不會見麵的玉塊，知道她再也不會回來了，便帶著丫鬟回去。雖然時刻想念小翠，幸而見到新娘就像見了小翠一樣。他這時才悟出與錘家的姻緣，他想原來小翠早就安排好了，事先變成鍾家女兒的容貌，為的是日後方便照顧公婆和元豐。