到家以後，虛增了他的家歲，借口是哥哥賣掉丫鬟的遺腹兒子。大家看他相貌很像晏伯，也就相信他是晏伯留下的兒子。晏仲教他讀書，總叫他抱著一本書在太陽底下誦讀。開始的時候很苦，天長日久逐漸安逸了。六月天，桌子烤人，阿小邊玩邊讀書，毫無怨言。阿小很聰明，一天讀完半卷書，晚上和叔叔睡在一起，天天背書。叔叔心裏很慰帖。又因為不忘湘裙，所以沒有再結婚的想法。
一天，兩個媒人來給阿小作媒。無人料理家務事，他心裏很急躁。嫂子甘氏忽然從外麵走進來說：“叔叔不要見怪，我把湘裙送來了。因為丫頭不識羞恥，所以我就挫折淩辱她。像叔叔這樣不同尋常的人，不願嫁給你，還想嫁給什麼人呢?”看見湘裙站在嫂子身後，心裏很高興。恭敬地請求嫂子坐下；告訴嫂子堂上有客人，就跑出去了。過了一會兒又進來，看見甘嫂已經走了。湘裙卸妝下了廚房，在案板上的切菜聲，充滿了耳朵。不一會兒，菜、肉羅列，煎、炒、烹、炸很合口味。客人走了，宴仲進了內室，看見湘裙盛妝坐在屋子裏，就和她互相交拜成親。到了晚上，湘裙仍然要和阿小住在一起。晏仲說：“我要用陽氣溫育他，不能離開。”因而叫湘裙住在另外一間房子裏，隻是晚上前去喝酒歡會而已。
湘裙撫養前妻的孩子像自己親生的一樣，晏仲更認為她很賢惠。一天晚上，夫妻正在親熱的時候，晏仲戲問：“陰間有佳人嗎?”湘裙沉思半天，回答說：“沒有見過。隻有一個名叫葳靈仙的鄰女，大家認為漂亮；看她的相貌也像一般人，隻是善於修飾罷了。和我交往的時間最長，我從心裏看不起她的淫蕩。如果想要見她，頃刻之間可以招來。但是這種人，不可招惹她。”晏仲急著想要見她一麵。湘裙執筆想要寫封書信，想了一下，扔下筆管說：“不可，不可!”晏仲再三再四地強烈要求，她才說：“你不要被她迷惑了。”晏仲點頭答應了。於是就扯下一張紙，畫了幾條道道，像畫符一樣，在門外燒掉了。
不一會兒，簾鉤響動，聽見了哧哧地笑聲。湘裙起身把她拉進來，高高的發髻，鬆蓬蓬地翹立著，很像畫上的美人圖。扶她坐到床頭上，一邊喝酒，一邊敘談久別的心情。她剛一看見晏仲，還用紅袖遮著嘴，不太說話；喝了幾杯以後，毫無顧忌地嬉笑親熱，逐漸伸出一隻腳壓在晏仲的衣服上。晏仲心迷意亂，不知魂靈跑到哪裏去了。眼前隻礙著湘裙，湘裙又故意提防他們，一刻也不肯離開身旁。葳靈仙忽然站起來，撩起門簾走出去了；湘裙跟了出去，晏仲也跟了出去。葳靈仙拉著晏仲，進了另外一個屋子。湘裙恨死了，但也沒有辦法，氣憤地回到屋裏，聽憑他們愛幹什麼就幹什麼吧。
過了一會兒，晏仲回來了，湘裙責備他說：“不聽我的話，恐怕以後推不掉她了。”晏仲懷疑她嫉妒，不歡而散。第二天晚上，葳靈仙不請自來。湘裙很厭惡見到她，神態傲漫，對她毫無禮貌；葳靈仙竟和晏伸手拉手地走了。這樣一連好幾個晚上。湘裙看見葳靈仙來了，就辱罵她，但也不能趕走她。過了一個多月，晏仲病重不能起床了，才很後悔，招呼湘裙和他睡在一起，希望躲開葳靈仙；白天黑夜的防備，稍微鬆懈一點，人鬼又歡會了。湘裙拿著棒子驅趕，女鬼氣衝衝地和她爭鬥，湘裙軟弱，手腳都被女鬼打傷。晏仲病勢逐漸沉重。湘裙哭著說：“我有什麼麵目見我姐姐呀!”又過了幾天，晏仲就昏昏沉沉的死了。
剛死的時候，他看見兩個衙役拿著公文走進來，不知不覺地跟去了。走在半道上，擔心沒有路費，邀請衙役順路經過哥哥的住所。哥哥看見他，大驚失色，問道：“弟弟近來作什麼了?”晏仲說：“沒有別的，隻有鬼病罷了。”就把實情告訴了哥哥。哥哥說：“這就是了。”馬上拿出一包銀子，對衙役說：“請二位暫且笑納。我弟弟罪不該死，請求放他回去，我叫兒子跟你們去，也許沒有不妥的。”就招呼阿大陪著衙役喝酒。抹身回到家裏，把情況告訴了家人，就叫甘氏隔牆招喚葳靈仙。不一會兒，葳靈仙來了，看見晏仲就要逃竄。晏伯把她揪回來罵道：“下賤的女人!活著做蕩婦，死後做賤鬼，不齒於人類已經很久了；又害死了我弟弟!”立刻打她嘴巴子，打得雲鬢蓬飛，妖容頓時減色。打了很長時間，來了一個老太太，跪在地上，悲悲切切地懇求。晏伯又責備老太太縱女宣淫，嗬斥辱罵了半天，才叫她和女兒一起回去了。
晏伯立刻把晏仲送出來，飄飄忽忽，眨眼已到家門，徑直到達臥室，忽然蘇醒過來，才知自己剛才已經死了。晏伯責備湘裙說：“我和你姐姐，認為你賢惠能幹，才叫你嫁給我弟弟；你反倒想要催促我弟弟死掉嗎!假設沒有名分上的嫌疑，就該把你狠打一頓!”湘裙又慚愧，又害怕，抽抽噎噎地哭著，望著晏伯，跪在地下謝罪。晏伯看著阿小，高興地說：“兒子居然是個活人了!”湘裙想要出去作飯，晏伯說：“弟弟的事情沒有辦完，我沒有工夫吃飯。”阿小已經十三歲，漸漸知道依戀父親了；看見父親出了大門，流著眼淚跟著。父親說：“跟著叔叔最快樂，我很快還回來。”抹身就無影無蹤，以後再也沒有互通音訊。
後來，阿小娶了媳婦，生了一個兒子，也是三十歲去世。晏促撫養他的孤兒，和侄兒活著的時候一樣。晏仲八十歲，阿小的兒子二十歲，才分家另住。湘裙沒有生兒養女。一天，她對晏仲說：“我先走一步，在地下驅趕狐狸可以嗎?”穿上華麗的服裝，上床死去了。晏仲也不悲傷，半年也死了。
異史氏說：“天下兄弟間的友愛，像晏仲的，有幾個人呢!他應該不死，應該延年益壽。陽世絕後，陰間有了後人，這都是不忍死了哥哥的誠心所感應的；在人間沒有這個道理，在天上難道有這個氣數嗎?陰間生了兒子，願意繼承生前事業的，想來也不少；恐怕繼承遺產的賢兄賢弟，不肯收養罷了!”