她又敦促顧玉兒再給大郎君生個孩子，沒準就能生出嫡女來。但顧玉兒心有怨恨，覺得大郎君氣性太大，還要她親自賠禮道歉，又恨為安撫大郎君李多福被迫喝了絕嗣的湯藥。所以這些年除了生了二郎外，對大郎君一直不聞不問，該大郎君侍寢的日子，既不去大郎君的院子，也不召大郎君去她的院子，就當他是個透明人。由於她孩子較多，也不少二郎一個，所以二少郎君一直是由大郎君一手帶大的。大郎君對顧玉兒已經完全不抱任何期望，無欲無求，隻一心撫養二少郎君。
本可以這樣相安無事，大郎君已經看開，他把全部的愛都給了二少郎君。可顧麗萱、顧瑾堯和顧瑾瑜去學堂後，顧麗萱喜歡上了當時還是縣主簿張主簿的嫡子楊正茂，這本是小孩子之間的青梅竹馬的笑鬧，楊正茂說道：“我是官家嫡子，怎麼可能嫁給你個商戶庶女？”不得了啦，一出生就被寵上天的顧麗萱回來折騰顧玉兒和二郎君，說她一定要當嫡女，要不然在學堂都要被人看不起。顧麗萱出生那一年正好二郎君李多福考上秀才，大家都認為是顧麗萱帶來的福氣，全家都當她是掌上明珠，寵的無法無天。二郎君雖然中了秀才，但後來舉業上卻一直不順，屢試不中。顧麗萱不知天高地厚地鬧騰著要當嫡女，顧玉兒被折騰的沒招，隻好和大郎君商量，請大郎君把顧麗萱記在他名下。庶長女和庶長子是大郎君一生的羞辱，怎麼可能答應？大郎君熟知律法，早就看透了二郎君的小心思。他放任大娘子鬧騰，還不是覬覦了大郎君的嫁妝，如果顧麗萱記在大郎君名下，大郎君的嫁妝將來就不能全部陪嫁給二少郎君，而是至少要分一半給顧麗萱。對此，大郎君嚴詞拒絕說他已有自己的孩子，不需要記名的孩子。顧麗萱的鬧騰加深了顧玉兒和大郎君的裂痕，連帶著也不待見二少郎君。誰知半年後的寒冬，顧瑾瑜和顧麗萱、顧瑾堯一起堆雪人玩耍時，二少郎君意外落水，大娘子顧麗萱為了救二少郎君也受寒高燒昏迷。二郎雖被救上來，但卻已失生機。大郎君為此神魂俱失，身心受到巨創。當他想弄清楚二郎死亡真相時，卻發現顧玉兒已經將當時看護他們的侍奴全部杖斃，他能得到的消息就是大娘子和大少郎君說的二少郎君淘氣，非要到池塘的冰麵上去玩耍，哥哥和姐姐拉都拉不住，導致大娘子和二少郎君踏破冰麵落入水中，大少郎君趕忙喊救人，他們被救上來時大娘子還好，二少郎君已經沒有呼吸了。
大郎君安排好二少郎君的後事，心情還未調整過來，一個月後又傳來孟神醫和妻主雲遊歸家遇塌方事故雙雙離世的消息。這個消息對大郎君來說無疑是雪上加霜，大郎君奔赴娘家料理父母的後事，一月方歸。歸家後，顧孟縈奶奶本就臥病，又遇到二少郎君歿了，孟神醫又故去，遂一病不起，又纏綿病榻兩個月後也撒手人寰。顧孟縈奶奶和她的大郎君伉儷情深，一生相親相愛，感情甚篤。妻主一離世，他也受不住，趁人不備喝藥下去陪妻主了。這不到半年的時間，大郎君先後失去了兒子、父母和公婆，簡直是烏雲蓋頂。那段時間大郎君痛不欲生，幾乎喪失了對生活的希望。可沒想到二郎君私下派人在外麵謠傳說大郎君命不好，刑克親人，是孤煞命。這無疑是雪上加霜，幸好神藥穀大藥師黃憐顧和孟神醫是舊年故交，和大郎君也算是忘年交。得知大郎君的事情，就派自己的心腹常隨來邀請大郎君去神藥穀共同探討製藥。大郎君安排孟南、孟北照顧好陪嫁的產業和莊子，將顧家的產業和莊子交還給顧玉兒之後，帶著附子和川芎去了神藥穀。在神藥穀一呆就是三年。正好守過了幾位長輩的孝期。這三年裏有黃憐顧的陪伴和照顧，大郎君心中的煩悶開解了許多。他想離開顧玉兒，但黃憐顧勸他回去，哄好妻主給他生個孩子再說和離之事，沒有孩子，大郎君和離之後並不能單獨立戶，隻能回到娘家，在庶妹手底下生活，直到再嫁人。如果幸運有了女兒，女兒滿六歲，征得妻主同意，就可和離帶走女兒單獨開戶；即使生了兒子，兒子滿六歲，給官府交一大筆錢也可立獨戶，總之必須要有子嗣才能和離。所以三年後大郎君收拾好心情，帶著連翹和宛童回到了顧家，原來帶去的附子和川芎已經嫁到神藥穀了。
後大曌王朝由於女子稀少，所以不允許女子守孝，一般父母故去守孝百天即要出孝期，如有孕不守孝也可，外人不得以此批駁，這是為了生育計量的。如果循古禮，守孝三年，左三年右三年，加上外親孝，那豈不是要錯過了生育期。所以顧玉兒父母故去百天後，出了孝期她就迎娶了五郎君。
五郎君是顧孟縈奶奶從青樓買回的清倌兒，本是為了分二郎君的寵而買回來的侍奴。五郎君樣貌秀美文弱，自帶風流。他剛被帶回顧家時，並不是作為顧玉兒的侍夫，而是作為主院的侍奴。五郎君在風月場上曆練多年，琴棋書畫也算精通，眼界和心機自不必說，為了改變自己為奴的命運，更是使出了渾身解數，將顧玉兒迷的神魂顛倒，玩得好一手欲擒故縱，讓顧玉兒求而不得，卻又割舍不下。為此二郎君氣個仰倒，卻又不敢冒頭。當時顧玉兒的母親雖臥病，但依然夠讓二郎君膽寒。他沒少攛掇三郎君和四郎君出頭收拾當時還是侍奴的五郎君。五郎君到底是從樓裏出來的，技高一籌，哄的顧玉兒一滿孝期就納他入顧家，又哄得顧玉兒為他生下六少郎君，順利從侍奴提為侍夫。
大郎君去神藥穀之前將顧家的產業交還給顧玉兒打理，由於顧玉兒並不喜庶務，就交給了李多福來打理。二郎君雖通讀四書五經，卻不太通庶務，加上他又想繼續科考，在顧家的產業經營上分配精力不足。三郎君和五郎君雖擅經營，可二郎君又舍不得到手的權利和利益，不肯放手。所以這三年裏，顧家的產業停滯不前，收益大不如從前。為此，顧玉兒很不高興，冷落了二郎君一段時間。正好此時大郎君從神藥穀回來了，顧玉兒想起了大郎君的清潤儒雅和溫柔俊逸，還想讓大郎君繼續幫著經營顧家的產業，而大郎君也想要顧玉兒給他生個孩子，兩人各有所求，倒也配合甚好。顧玉兒從二郎君手中收回了顧家的產業，仍舊交給大郎君打理，二郎君為此很生氣傷心，卻又無可奈何。那段時間，大郎君努力經營顧家的產業，收益大幅上升，顧玉兒很滿意，心情也好，順利懷上了身孕後，整個孕期大郎君將她照顧的無微不至，經常送她各種珠寶首飾，讓顧玉兒開心不已。大郎君怕有人對胎兒不利，請郎中對外宣稱顧玉兒懷了個小郎君，又派人對顧玉兒仔細照看，終於在第二年春夏之交顧玉兒順利生下了顧家嫡女顧孟縈。