到任後十天，李益就請假回家探望母親。在他還沒到家時，他媽媽已經為他和一個姓盧的表妹定了親。李母向來教子嚴格，李益不敢違抗，隻得答應下來。盧家是名門富戶，女兒出嫁，所要彩禮很多。李家比較窮，隻好到各地找親朋好友借錢。這樣一來，就耽誤了幾個月時間。李益因為誤了與小玉約定的日子，加上母親逼他盡快同盧氏結婚，所以便不再同小玉聯係，以便斷了她的希望。小玉見李益過了約定日期還沒回來，便求人到處打聽他的音信。一年後，小玉由於整日傷心，想念李公子而得了重病。盡管這樣，她還是一天也放不下對李益的無限思念。那時，跟李益訂婚的盧家小姐也搬到了長安。李益從各地湊齊了聘金後，先回鄭縣請了假，然後就到了長安，準備與盧氏結婚。為不讓小玉打得到消息，他租了一處僻靜房屋住下來。李益有個表弟叫崔允明，為人十分厚道。當他聽說李益到長安的消息後，馬上去告訴了霍小玉。於是，小玉多次托親友邀請李益來家裏，想跟他見上一麵。但李益覺得自己背了誓言，又得知小玉病重，心中感到慚愧，一直不敢去見小玉。霍小玉因見不到李益，吃不好睡不安，日夜啼哭不止。她心中的委屈和對李益的痛恨，一天比一天加重，致使病情不斷惡化，終至臥床不起了。後來，長安城不少人知道了這件事，都為小玉的遭遇而憤憤不平。有一天，李益約幾個朋友到崇敬寺遊玩。其中一個對李益說道：“你拋棄小玉，也太殘忍了。堂堂七尺男兒，是不該這麼無情無義的！”不想這話被旁邊一位義士聽見了。一會兒，那義士走來對李益施禮說：“你就是李公子嗎？我們是同鄉，說來還有些親戚關係呢。我向來敬仰你的才華，早想跟你好好談一談，不想今天在這裏相見。我家離這兒不遠，想請李公子到家坐坐。”李益信以為真，便答應下來，那義士和李益騎馬往前走，不知不覺到了小玉的家門口。李益發現後想撥馬往回走，但已晚了。那義士硬拉住李益的馬韁，把他拽到小玉家中，然後鎖了大門。小玉久病在床，平時連翻身都很困難。而現在聽說李益到了，竟然一骨碌爬起來，穿好衣服，迎了出去。但當她見到李益後，隻是狠狠地瞪著兩眼，一句話也說不出來。過了好一陣子，小玉才說道：“你個沒良心的毀了我的一生。今天你我就要永別了。我死後一定變個厲鬼，叫你娶了別的女子，也永遠不能過安穩日子！”說完，抓住李益的胳膊，大哭幾聲，死去了。
一個多月後，李益和盧氏結婚了。但他一想起小玉的事情，就感到十分傷心，所以總是悶悶不樂。沒多久，他居然發現一個小夥子藏在自己床下邊，正在招呼盧氏，但上去搜索，卻找不到人。從此，他對盧氏產生懷疑和怨恨，還動不動就凶狠地打罵盧氏，最後把她給休了。這之後，他又先後與三個女人結婚，但都沒一個和得來的，經常吵架拌嘴，總是懷疑猜忌，始終不得美滿。