高宗紹興十三年（1143年），陸遊19歲，第二次來到臨安應試。雖然這次考試仍無結果，但他在臨安停留了較長的時間。第二年的元宵節，陸遊的舅父唐仲俊約他在臨安觀看燈火，就是在這一次出遊中，他見到了舅父的女兒唐琬。他們姑表兄妹幼年時曾見過麵，這次相逢，互相愛慕，感情更深了。陸遊回到山陰後不久，就跟唐琬結了婚。
這對夫妻生活十分美滿幸福。唐琬能詩善詞，和陸遊有許多共同語言，二人相親相愛，形影不離。本來陸遊對科舉就沒有什麼興趣，婚後用在“學業”上的時間就更少了，這使陸遊的父母很不高興。特別是陸遊的母親，不知為什麼，對自己的內侄女總是看不順眼，常常指桑罵槐，借故責難兒媳，最後在盛怒之下，逼著陸遊與唐琬離婚，將唐琬趕出了家門。
陸遊心裏明白，自己的妻子是無辜的，但在封建禮教的桎梏下，父母的話就是法令，不管對與不對都必須服從。陸遊無可奈何，忍痛與愛妻分開。但他實在難以割舍，便瞞著雙親在外麵找了一間房子，把唐琬暫時安置在那裏，時常與之幽會。可見他在悲痛之餘，還存著一種僥幸心理，希望母親有一天能回心轉意，讓他們夫妻重新團圓。每當他去看唐琬時，總是用這種想法來安慰她。唐琬卻默默無語，憔悴的臉上掛著淚珠，她受的創傷太重了，對破鏡重圓已不抱多大希望。這樣又過了一段時間，他們的秘密終於被家裏覺察，陸母不但沒有動惻隱之心，反而橫暴地拆散了這對恩愛的夫妻。不久，陸遊被迫另娶王氏，唐琬也改嫁同郡的宗室趙士程。這一婚姻悲劇在陸遊的心靈中留下了深深的傷痕，不久他就離家遠遊，開始了“學劍西州”的浪遊生活。
紹興二十五年（1155年），陸遊31歲。一個春光明媚的日子，詩人獨自來到山陰城外禹跡寺的沈家花園，恰逢唐琬與趙士程也來這裏遊春。一對被活活拆散的情人，分別十年，偶然相逢，真是又驚又喜，可如今時移 過境遷，千言萬語也隻能埋藏在心底。唐琬含淚忍悲，叫人送給陸遊一些酒菜，以表示對故人的追憶之情。陸遊想起當年泣血摧心的往事，悔恨交加，如癡如醉，凝神望著那含情脈脈的倩影，久久不能平靜。當他清醒之後，唐琬的身影已經消失在花柳叢中。陸遊感慨萬分，提筆在花園的牆壁上寫下一首哀婉淒楚的《釵頭鳳》：
紅酥手，黃 酒，滿城春色宮牆柳。東風惡，歡情薄，一懷愁緒，幾年離索。錯！錯！錯！
春如舊，人空瘦，淚痕紅 鮫綃透。桃花落，閑池閣，山盟雖在，錦書難托。莫！莫！莫！
據說唐琬讀到這首詞後，悲痛欲絕，含淚和了一首：
世情薄，人情惡，雨送黃昏花易落。曉風幹，淚痕殘，欲箋心事，獨語斜欄。難！難！難！
人成名，今非昨，病魂長似秋千索。角聲寒，夜闌珊，怕人尋問，掩淚裝歡。瞞！瞞！瞞！
沈園一見之後，唐琬便一病不起，不久就含恨離開了人世。
陸遊對這一婚姻悲劇終身難忘，心靈所受的創傷實在是太深了。詩人晚年卜居鏡湖三山，雖然他已經是兒孫滿堂、白發蒼蒼的老翁了，但仍然時常攜杖來到沈園，探尋遺蹤，憑吊故人，並寫下了一首首愛情悲歌：
城上斜陽畫角哀，沈園非複舊池台。
傷心橋下春波綠，曾是驚鴻照影來。
夢斷香消四十年，沈園柳老不吹綿。
此身行作稽山土，猶吊遺蹤一泫然。
——《沈園》