第三年春天，李益複試完畢，派往鄭縣當主簿。臨走前，李益去與小玉告別，小玉傷心地說道：“李郎才華出眾，風度翩翩，此去鄭縣後定會遇到許多愛慕你的女子，到時候你肯定會愛上別人。我想，那些盟約中的話，隻不過是你一時興起所寫下的。我隻盼李郎在30歲的時候能找到一個名門閨秀共結連理。到那時候，小玉就會削發為尼，遠離紅塵。”
李益被小玉的話感動了，流著淚說：“我早已決定跟你相守到老，怎會理其他女子，你就放心地等著我，到了八月，我一定會回來接你的。”
說完話，李益便離開小玉，前往鄭縣赴任。上任10天後李益告假回鄉探望母親，未抵達家門的時候就聽說母親已經為他定下一門親事，未婚妻是一位盧姓表妹。李益不敢違抗母親，隻好答應成婚。因為盧家屬富貴門第，所以需要準備豐厚的彩禮。李益家比較清貧，便去各地的親朋好友家借錢，一來二去的就耽擱了數月。這樣一晃，八月就過去了，李益沒有如約去接小玉，加上母親催促他盡早跟盧氏成婚，因此他便不再聯係小玉，希望小玉能夠另覓如意郎君。
遠在長安的小玉因為沒有在約定的時候見到李益，便四處打聽他的消息，卻杳無音訊，久而久之就相思成病，一年後病情愈加嚴重，可即便這樣她還是放不下李益。這時，盧家搬到長安，李益決定湊足聘金後就來長安與盧氏成婚。為了不讓小玉知道他的消息，他專門在非常偏僻的地方租了間屋子住下。李益的表弟崔允明知道這些事之後就偷偷跑去告訴了小玉。小玉便托人帶信給李益，希望能見上一麵。可是，李益覺得當初是自己背信棄義就不敢去見小玉。
見不到李益的霍小玉時刻啼哭，日漸消瘦，沒多久就重病臥床。不久，霍小玉和李益的事在長安城傳開，大家都為小玉的遭遇感到憤怒。
一天，李益與朋友們去崇敬寺玩耍，有位朋友便知道霍小玉的事，便指責李益說道：“沒想到你居然拋棄霍小玉，幹出這些薄情寡義的事情來！”
這話被在一旁遊玩的義士聽見，這義士便走過來對李益說：“在下一直仰慕李公子的文采，我家離此地不遠，不知李公子願不願去寒舍一坐？”
李益答應了這義士要求，騎馬跟著他往前走。沒想到這義士徑直來到小玉家，李益發現之後當即就要轉頭回家。義士不依，將李益拽到了小玉的家裏，然後將大門鎖上。
小玉此刻已經病入膏肓，一聽說李益來了，連忙從床上爬起來，快速穿好衣服就迎了出來。見到李益之後，卻一句話都沒說，隻是惡狠狠地瞪著李益，過了好半天這才說道：“我今天就要死了，就要跟你這個背信棄義的偽君子永別了！我死後一定會變成厲鬼，讓你過不上安穩的日子！”
說完話，小玉便抓著李益的胳膊，嚎啕大哭起來，沒多久便氣絕身亡。
不久，李益與盧氏成婚，不過他仍然為小玉的事感到傷心，時常無精打采，久而久之便產生了幻覺。有一天李益甚至發現自己床下藏著一個小夥子在呼喊盧氏，可仔細一看，卻什麼也沒有。從此，李益開始懷疑盧氏，動不動就虐待盧氏，到最後幹脆一紙休書休了盧氏。盧氏之後，李益先後又與三個女人成婚，仍然相互猜忌，時常吵架，始終不得美滿。