從此以後，兄弟互相安靜了。但是曾成為人剛直，性如烈火，動不動就打弟弟們的耳光子，對待曾孝尤其厲害。唯獨尊重友於，即使在暴跳如雷的時候，友於來到跟前，一旬話就消火了。曾孝的所作所為，曾成往往不平，所以曾孝沒有一天不到友於家裏，偷偷地對著友於詛咒哥哥。友於委婉地規勸他，他終究聽不進去。友於受不了他們的擾鬧，又遷居到三泊，離家更遠，音跡就稀少了。又過了二年，幾個弟弟都害怕曾成，久而久之，也就互相習慣了。
當時曾孝四十六歲了，生了五個兒子：大兒子繼業，三兒子繼德，是大老婆生的；二兒子繼功，四兒子繼績，是小老婆生的；又娶了丫鬟，生了繼祖。五子都長大成人了，也仿效父親的老毛病，各自結成幫夥，天天互相爭吵，曾孝喝斥他們，也製止不了。惟獨繼祖沒有兄弟，年紀又最小，四個哥哥都欺負他。他嶽父住在三泊附近，在去看望嶽父的時候，就繞道到了叔叔家裏。一進門，看見叔叔家裏的兩個哥哥和一個弟弟，都在怡然自樂地讀書，他很喜愛這個家庭，住了很長時間也不說回家。叔叔催他回去，他便哀求在此寄居。叔叔說：“你住在這裏，你的父母都不知道，我難道舍不得一碗飯一瓢水嗎!”他這才回去。
過了幾個月，繼祖和妻子到三泊去給嶽母拜壽。臨走的時候告訴父親說：“我這次出去就不回來了。”父親問他不回來的原因，他才吐露一點隱情。父親憂慮從前和友於有過嫌隙，預料難以長時期地住下去。繼祖說：“父親過慮了。我二叔，是一位聖賢。”說完就走了，攜帶妻子到了三泊。友於騰出一所房子讓他住下，把他當成親兒子看待，叫他跟長子繼善一起讀書。他又很聰明，在三泊寄居了一年多，就在雲南郡考中了秀才。和繼善閉門謝客，刻苦鑽研，繼祖又是最用功的。友於很喜愛他。
自從繼祖住到三泊以後，家裏的兄弟越發不能相容。一天，繼業欺負繼功，繼功稍一回嘴，繼業就辱罵小媽。繼功一聽就火了，用刀子捅死了繼業。縣官逮捕了繼功，給他帶上手銬腳鐐，不幾天也死在了獄裏。繼業的老婆馮氏，還是天天以罵代哭。繼功的老婆劉氏，聽到馮氏天天罵她，憤怒地說：“你家男人死了，誰家的男人活著呢!”便操起一把刀，闖進馮氏屋裏，刺殺了馮氏，自己也投井自盡了。
馮氏的父親馮大立，哀掉女兒死得太慘，率領許多子弟，衣服裏藏著刀子，捉住曾孝的小老婆，扒光她的衣服，拉到路上，毒打一頓，用來侮辱姓曾的。曾成憤怒地說：“我家死人如麻，姓馮的怎敢這樣欺負人!”就大吼大叫地衝出去。曾家的許多子弟也跟著衝出去，馮家的一幫人全都敗下去了。曾成首先抓住馮大立，割掉他的兩隻耳朵。馮大立的兒子衝上來要護救父親，繼德、繼績用鐵棍子橫掃過去，便打斷了他的兩條腿。馮家的許多人都受了傷，也就一哄而散。惟有馮大立的兒子還躺在道旁。曾成用胳膊肘把他夾起來，送到馮村才回來。於是就招呼繼績到官府去自首。馮家的狀子也到了。縣官就把曾家的許多人抓進了監獄。
隻有曾忠逃跑了，逃到三泊，在友於的門外徘徊著。正好趕上友於領著一個兒子和一個侄兒參加鄉試回來。友於看見了曾忠，驚訝地問道：“弟弟從哪裏來?”曾忠沒等說話先落淚，直挺挺地跪在道邊。友於握著他的手，把他拉進屋裏，問明白了情況，大吃一驚說：“像這樣的事情，我也沒有辦法！一家人總是不和，我早就料到會有奇災大禍；不然的話，我怎能逃避在這裏呢。但是我已經離家很久了，和縣太爺沒通過半點氣息，現在就是一步一叩頭地去求他，也隻能是自討恥辱而已。但願馮家父子重傷不死，我們三人當中僥幸有考上舉人的，這個災禍也許稍有解脫的希望。”於是就把曾忠留在家裏，白天和他同桌吃飯，晚上和他同榻睡覺。曹忠感到很慚愧。住了十幾天，看見他們叔侄像父子一樣，兄弟之間如同一奶同胞，便傷心地流下了眼淚，說：“現在我才知道從前不是人。”友於對他的悔悟很高興，兩人麵對麵地坐著，回首往昔，心裏很難過。
不久，報子登門報喜：友於父子同科考中舉人，繼祖也考中副榜貢生。友於高興極了，不去參加官府為新科舉人舉辦的鹿鳴宴，首先回家拜祖墳。在明朝末年，科考得中是最重要的，所以馮家的一幫人都銷聲匿跡了。友於就托親友向馮家贈送錢糧，供給藥費，官司就平息了。全家都流著眼淚感激友於，要求他重新搬回來。友於就和兄弟們焚香發誓，訂下和睦相處的條約，叫每個人都改過自新，然後就搬回來了。
繼祖願意跟隨叔叔，不願搬回父親家裏。曾孝就對友於說：“我沒有德行，不應該有光宗耀祖的兒子；弟弟又善於教導，暫時叫他做你的兒子吧。以後稍有進步的時候，你再還給我。”友於遵從哥哥的意見。又過了三年，繼祖果然考中了舉人。友於叫他搬回去，夫妻都痛哭流涕地搬回父親家裏。過了不幾天，繼祖有個兒子，剛到三歲，跑回友於家，藏在繼善的屋子裏，不肯回去；把他抓回去，他就逃回來。曾孝就讓繼祖分出去另過，和友於住鄰居。繼祖在牆上扒了一道門通到叔叔家裏，早晚兩下問安，都像自己的生身父親。當時曾成逐漸老了，家裏的事情全都取決於友於。從此以後，門庭肅穆，人們稱頌他們父賢子孝，兄友弟恭。
異史氏說：“天下惟有禽獸隻知有母而不知有父，怎奈詩書人家，往往也蹈此轍!一戶人家的門風，它會逐漸浸染子孫，一直浸入骨髓的。古人說：“父親是個強盜，兒子必然攔路搶劫，這是相沿而成的弊病。曾孝雖然不仁，他的報應也太殘酷了；但是終於知道自己沒有德行，把兒子托付給弟弟，應該說是為兒子的憂患而操心了。——用因果報應來評論，那就迂腐了!”