胡樹銘麵對這個無妄之災，並沒有怨天尤人，更沒有氣餒，他設法籌集到一筆資金，在徽州當地進了一批好茶葉，然後運送到胡源泰茶號販賣，及時填補了店內的虧損。在此過程中，他調整了店內的人事安排，破格提拔德才兼備的下層夥計，作為自己的左膀右臂。此時，他的兒子胡炳衡（1873—1920年）也逐漸長大，成為胡樹銘最得力的助手。
胡樹銘共有四個兒子，其中兩個兒子早夭，隻有胡炳衡和他的哥哥胡炳華長大成人，其中尤以胡炳衡最有才幹。胡樹銘逐漸年老體衰，家業的重擔，落到了胡炳衡肩上。
胡炳衡不但精通茶務，把祖傳的胡源泰茶號推上了輝煌的頂峰，而且勤於讀書，有誌於科場揚名。
然而，晚清的政治非常腐敗，科舉閱卷有很大的隨意性。例如，在“公車上書”之後，組織者康有為被考官列入了“黑名單”，他們看到一篇文采極佳的試卷，斷定其作者必定是康有為，於是黜落不取，其實這是梁啟超的試卷，他陰差陽錯地成為替罪羊，康有為反而被稀裏糊塗地錄取。再如，沒有任何官府背景的張謇，連續考了多次科舉，都榜上無名，但他最後一次，居然“歪打正著”中了狀元。同一位考生和同樣的文才，寫出來的文章可能被判零分，也可能被判滿分，完全取決於考官的“一閃念”。
胡炳衡並不屬於考場上極少數幸運兒之中的一員，他每次科考都黯然落第，隻好一邊繼續經商一邊再次備考，直到科舉廢除，他依然未能金榜題名，這是他的終身憾事。
但是，胡炳衡經營茶號卻頗有成就，成為當地名列前茅的富戶，並相繼在泰州等地建立了多家分店。他拿出一筆巨款，在家鄉翻修了私宅，並置辦了不少高檔家具，一掃祖輩的貧儉之氣。
進入民國以後，胡炳衡目睹廣大徽商的衰落，感到非常痛心。他力主徽商之間要加強團結與合作，千萬不可進行相互拆台的惡性競爭。此外，他還在東台修建徽商會館，希望以自己為中心，促進當地徽商之間的交流與合作。
1920年，胡炳衡在家鄉徽州，已成為備受父老鄉親擁戴的一方賢達。在眾多鄉黨的推舉下，他把江浙地區的茶號業務交給自己的助手，回到徽州故鄉，競選參議員。這一年夏天，積勞成疾的胡炳衡臥床不起，不久離開了人世。他的哥哥胡炳華，也在三年之後病故。
在這個關鍵時刻，胡炳衡的遺孀陳氏挑起了家業，在她的多方協調下，胡源泰茶號繼續保持穩健發展，此外，她還盡心竭力地將胡炳衡兄弟的幼子，全都養育成人。十幾年後，隨著日寇的入侵，胡源泰茶號在民不聊生的時局下衰落。胡炳衡的大多數後人都放棄了商業，有些傑出的子弟，走上了革命的道路。
但胡炳衡昔日的故居，一直完好地保存至今，成為當地著名的旅遊景點。這些高貴、氣派又不失典雅的豪宅，無聲地述說著一個徽商家族的風雨曆程。