王氏兩眼直愣愣望著兒子的背影，那一眼讓她渾身冰涼，癡癡呆了半晌，王氏呐呐道：“逆子！逆子！”兩眼一翻，昏了過去。
之後的日子潘向文一直四處求人訪友，遭了宇親王的厭惡，潘向文心知拖得越久越沒有希望。但他沒了銀錢支撐，光人一個十分寒酸，加之他危機臨頭求官心切四處討好，漸漸的便是其他進士也嫌他喪了文士風度疏遠起來。
囊中羞澀又遭了不少白眼，越是如此潘向文對母親王氏的怨氣就越重，常常想若不是母親掏了上萬銀子給王家，有那上萬兩銀子以他潘向文的才能早已是平步青雲。到了後來，潘向文連王氏主動示好也沒什麼好臉色，加上碧桃在王氏身旁不斷挑撥又出些餿主意，母子的關係越加惡劣。
秦璿穩坐釣魚台，不過她還沒有跟潘向文撕破臉的打算，時不時做出一副極為艱難的樣子擠出點銀子給潘向文，讓他抱著點希望吊在一根繩上不死不活。
野心和現實的落差越來越遠，處境艱難的潘向文再也沒了前世的兒女情長。對韓子柳早沒了柔情蜜意，潘向文一心都撲在謀官上，韓子柳的彈琴弄曲甜言蜜語讓他煩躁，妻子不甚得他喜愛卻能為他奔走，而韓子柳整日糾結在後宅那些小事上毫無用處。
若是當初沒有納妾……潘向文越來越後悔，當初他的日子何等順暢，嶽父便是不喜他也偶爾會幫扶一把，自從為了納貴妾之事與嶽父大舅子鬧翻後，林家再也沒有過問過他一句，連妻子也冷了心沒了以往的熱忱。
得誌便猖狂，他中了進士後心便高了，以為從此便揚眉吐氣，卻不想……這種心思隨著閉門羹的次數越來越旺，潘向文看韓子柳的眼神都幽涼陰森。他想起了很多以往忽略的事，韓家嫌棄他家門落魄退婚，韓子柳父親暴斃後寄人籬下，那一次次與韓子柳的巧遇，還有韓子柳口口聲聲官家小姐為妾的對他的所謂付出。
落毛的鳳凰不如雞，現在想來，韓子柳恐怕比他如今的處境難堪數倍，如此才回頭投懷送抱！
潘向文開始往妻子的院子走動，開始跟以往忽視的兒子小豆豆親近，他想回到最初，卻悲哀的發現妻子即使是笑著也恍如在遙遠的天邊，而兒子看他的眼神帶著戒備和陌生，周圍的丫鬟婆子看著他像看著訪客！
回不去了……潘向文心下酸澀，他也明示暗示過希望妻子找嶽父幫忙，當妻子總是用那種不動如山的眼神看他。他心頭惱怒，換了以前他定會怒斥或者甩手就走，要麼以休妻為要挾。但現在，他不敢！
是的，他不敢。潘向文後知後覺他擁有的都不過是水中月鏡中花，他一切的依仗都來自於妻子的一片深情，如今，便是他說休妻，玉容恐怕也會一口應下，他不敢賭。這府裏的一切都是玉容的嫁妝，家財還被母親搬去了王家，如今他能有點銀錢去走動也是靠著妻子一點點籌措，和離還是休妻，他都將一無所有回到最初饑寒交迫的那時候。
時光匆匆，一晃就是一年，潘向文身心俱疲早已不複當初翩翩君子之態。這一日，潘向文喝了爛醉而回，悶坐在太師椅上時哭時笑，他要瘋了！
同科進士大多有了官身去處，現在連小妾一般的同進士出身的蕭林也外放做了縣令！那蕭林連個二甲進士也沒考中，當年同窗進學連他潘向文一根汗毛也比不上！可今天，蕭林看他的眼神譏諷而輕蔑，連老師也沒有多看他一眼！
他已經是棄子了！