在胡天柱的苦心經營之下，胡開文墨店成為享譽一方的知名品牌。然而，胡天柱老來不幸，雖然生了8個兒子，但長子、三子、四子和五子都英年早逝，六子胡懋德是個弱智，直到35歲，依然“痰迷心竅”，不通事務。七子胡頌德和八子胡順德，都是胡天柱晚年所生，年齡太小。能挑起家業的，隻有他的次子胡餘德。
胡餘德年少時就非常精幹，堪稱胡天柱最得力的助手，被胡天柱稱讚為“克勤克儉，頗有進益”。胡天柱逐漸年老體衰，臨終前，他把家業交給了胡餘德，並留下了“單傳執業”和“分家不分店”的遺囑。
胡天柱窮盡畢生精力苦心打造的胡開文墨店，在第二代主人胡餘德的任內，達到了前所未有的輝煌。他遵照父親的遺囑，狠抓墨品的質量，而且立下書麵的規定，各分店不得自行製墨，隻能代銷總店出產的墨品，以免因各分店的技術良莠不齊，為“胡開文”這個品牌帶來負麵影響。
胡餘德還特別注意培養後代讀書。他有9個兒子，其中7人都棄商從儒，1人是歲貢生，6人是國學生，連同其弟、其侄，共有將近20人都科考有成，有些人還當上了官。一定程度的官府背景，使“胡開文”家族在當地不但財力雄厚，而且頗有勢力。
成為一方豪紳的胡餘德，依然待人寬厚誠懇，而且樂善好施。有一次，胡開文墨店的夥計，誤把一批質量欠佳、有待返工的墨品批發給了分店，並在數日內銷售一空。老板胡餘德得知此事後，不禁捶胸頓足，但他沒有隱瞞此事，也沒有懲罰工作失誤的夥計，而是貼出告示向顧客公開道歉，將之前售出的不良墨品，全部高價售回，並向這些顧客連連作揖賠禮。然後，他當眾將這些不合格的墨品統統銷毀，一切損失均由胡餘德承擔。經此一事，胡餘德的仁義之名，在方圓百裏間廣為傳誦，那個工作失誤的夥計，也對胡老板感恩戴德，暗自發誓一定要嚴把墨品的質量關。
胡餘德好人長壽，活到了83歲高齡。此後，他的兒子胡錫熊和孫子胡貞觀，先後執掌家業，胡開文墨店的利潤，呈現出“井噴”的態勢，其精品墨塊遍及大江南北的市場，成為諸多文人墨客和富貴人家的必備品。