雙方為了家產、勳位，爭的不可開交，甚至撕破了臉，長孫安世更是口出狂言“有他在高氏別想好過”。落敗之後，高氏思前想後，若是繼續待在長孫家，他們母子根本無自保的能力，因此高氏便選擇逃出長孫家住在了娘家。
高士廉一家雖然沒落，但整個渤海高氏的門楣卻不低，因此高氏回到娘家，長孫家也不敢動武，這才相持下來。
曆史上等到明年長孫熾去世，長孫洪外放，長孫家徹底沒落，更沒有功夫管高氏母子了，而高氏也帶著兒子、女兒在高家直到去世。
黃明遠聽著高氏的話，前前後後，倒也明白了整個事情的經過，因此道：“嫂夫人且聽我一言，這子廢黜舊爵之後，眾人本就沒什麼爵位，一些家產而已，何必爭之，若是子孫賢能，亦無需靠祖宗產業過活。我知嫂夫人憐愛無忌，但這些東西，爭之無益，嫂夫人安知日後無忌之功業越不過季晟兄。”
“這······”
高氏有些猶豫，黃明遠道：“若是嫂夫人不放心，我便保無忌一個前程。”
高氏連忙不敢，但黃明遠如此，倒是讓高氏放下心來。以黃明遠的身份、地位若是想提攜兒子，還不是手到擒來的事情。
黃明遠接著道：“嫂夫人還是要早些回家，宜防此事壞了季晟兄的聲名。且無忌畢竟是男兒，將來無論到什麼位置，都是長孫家的人。若是就這麼離開長孫家，難道以後要自覺於家門，還是嫂夫人想給無忌改為高姓？”
高氏大驚，連忙自己沒有此意，著著，竟然哭了出來。黃明遠連連規勸，最終高氏同意返回長孫家，黃明遠也言會讓長孫熾等人親自來接，不失了高家的身份。
不得不高氏這一出做的大錯特錯，男人在這個時代，牽絆最深的便是宗族，若是沒有宗族，相當於無源之水，無根之木，不用風吹便散了。曆史上若不是長孫氏成了皇後，長孫無忌成了宰相，長孫家都不一定承認長孫無忌的身份。
離開高家，黃明遠便問兒子道：“你今日見了長孫家的娘，可還順眼？”
黃維揚道：“非禮勿視，非禮勿聽，非禮勿言，非禮勿動。故兒子並不敢觀之。”
黃明遠在兒子頭上敲了一個暴栗，道：“好好話。”
黃維揚捂著頭嘿嘿笑道：“談不上多麼喜歡，但也不討厭，但總覺得這個娘子文文靜靜的，讓人看了很安心。”
黃明遠點點頭。
黃維揚忽然問道：“父親先是為我定了長孫家的婚事，今日又為了長孫家的事情折騰了這麼多，難道真的僅僅是因為與長孫將軍的關係。”
黃明遠笑了笑道：“下間與我關係好的裙也不少，我哪有那個閑工夫管人家的家事，不過是不想黃家未來的宗婦從破門而出，不能養於家。至於為什麼選長孫家的三娘做你的妻子，隻是因為我覺得這個娘子可以興家。”
黃維揚努努嘴，卻是不信。