當時，韓生剛好新婚過後，和顧女琴瑟諧好，十分恩愛，然而，常常坐著，對著空中歎息，拿出玉佩來把玩，也時時不禁傷心流淚。
一天，顧女見了，詢問他是怎麼回事，就從他手裏奪過玉佩，想拿去收藏起來，不讓韓生見到，可是不小心，玉佩墜落到地上，碎成了兩半。
韓生惱怒不已，氣憤地走出家門去，忽然遇到了宋媼。
宋媼不屑地看了他幾眼，說：“聽說新人很讓人滿意，你也想聽聽故人的消息嗎？”
韓生急忙向她詢問綺琴的境況，宋媼就一一地給她講述近來的事，還沒說完，韓生已大哭起來，說：“我對不起綺琴，我還有什麼心思活在人世啊？”於是，就出走了。
想到青田去拜訪他的好友，跟著他學習劍術。
走到了括蒼山中，遠遠地看見有兩個風姿綽約的女子，走在前麵，為他們獨自在山中行走而感到驚訝，策馬追上去，再一看，其中一個是綺琴，另外一個就是繡春。
驚駭地問道：“你兩人怎麼到了這裏？”
綺琴抬起頭來，看見了韓生，似乎滿懷怨怒，繡春眼睛微微轉動，更覺得很是惱怒，小聲說：“小姐，我們快走。”相互挽著轉入林子中去了，始終不回頭來看一眼。
韓生跟上去，走了幾裏，到了林子盡頭，就是陡峭的崖壁，直如雲霄，山中煙氣迷蒙，根本無路可走。
綺琴和繡春聯步走上山，到了山腰，崖壁砑地一聲打開，綺琴先進去，繡春也跟著進去了。
韓生攀援著木藤，也上到了山腰處，也不見崖壁上有什麼縫隙，對著呼喊，也沒有什麼回應。
灰暗的月亮升起來了，山穀中發出陣陣呼嘯狼號之聲，韓生從上往下看，見一灣澗泉，流淌在山間，十分清澈，猶如一麵鏡子，仿佛綺琴和繡春就在其中。
韓生也不懼怕，朝著那裏走過去，而已身在平地了。踟躕徘徊，到了天亮，也不再進城去，一心想渡過江，到靈隱寺削發為僧。
到了冷泉亭，遇到了一個僧人，笑著迎麵走來，對他說：“你也想出家修行嗎？但那裏從來沒有色界仙人，況且鴛鴦薄上還有一樁公案，還沒有了卻，怎得妄想升天？”
韓生向他拜了兩拜，說：“隻求懺悔冤孽而已。”
僧人笑著道：“這就足以證明你情根未斷了。”
韓生又拜了兩下，說：“還求解脫。”
僧人叫他仍回山中去找綺琴，韓生感到有些為難。僧人顯得惱怒起來，俯下身拾起一塊磚頭，擲給韓生道：“去，去！拿去敲打石壁，門就開了。”
韓生知道他一定是一個非凡的僧人，就接受返回了。
渡過江，又回到山中，沿著岩壁攀爬上去，才敲了幾下，聽到崖壁中有人感歎道：“負心郎，你既然知道有今天，有何必當初呐！”聽聲音像是繡春。
韓生正側耳傾聽，忽然石門豁然打開了，韓生無比歡喜，一下躍進去。
裏麵琪花瑤草，雲霧繚繞，像是進入廣寒仙宮中，轉過幾折之後，看見綺琴身著華麗的服裝，倚靠在石欄邊，正拿著一隻紅梅插到發髻上，瞥見了韓生，正想要躲避。
韓生上前去，拉住她的衣袖，先向她承認自己負約之罪，然後訴說相思之苦，就解下佩刀，準備自殺而死，綺琴急忙奪過去，說：“我死了之後，因為我是憤恨而死的，冥王準許我們還魂重生，然而，我和繡春都已無意再活在人世了。我也知道負約之罪，不能全怪你，但也不能不讓人耿耿於懷！現今讓郎君拋棄骨肉，艱險跋涉到這裏來，這讓我怎麼安心？然而，自從遭遇劫難之後，回憶起塵世，對人世的一切，已冷如冰霜了，今天當和郎君為世外之交，了卻今生的緣分。要是說什麼兒女之情，那麼就請你回去。”
韓生就請求隻作為知己之友，也不願回去了。
過了一些時間，也漸漸地親近起來，閨房之事，也猶如閨中畫眉，充滿了樂趣。綺琴不堪侵擾，就請繡春來代替。
從此，煮石為糧，采花為釀，過了一年多，繡春也生了一個兒子。
沒多久，刮起了秋風，庭中落葉隨風飄舞，韓生不禁想起家來。綺琴勸他回去看望一下，韓生又不忍心和他們別離。
綺琴拿出一件羽毛織成的衣服，交給韓生，說：“這是飛遊女送的，要是你還能記得我們，穿上它，半天就能飛回來了。”
韓生披在肩上，看自己居然變成一隻鳥了，試著張開翅膀，扇動起來，翩翩直飛入空中去了。
頃刻之間，就回到了家中，四處一看，都已不是原來的樣子了，詢問他的妻子在哪裏，也已死了。隻有父親病重垂危，韓生進去看他，已不能說話了，父親見到了他，一陣哀慟就死去了。
韓生身穿孝服，哀傷不已，等父親葬下之後，他也穿上那件羽毛衣服，飛走了，也沒有再回去。