位於安徽績溪的胡炳衡故居，在21世紀的今天，是徽州文化的重要代表，以及頗有名氣的旅遊勝地，雖已曆經近百年風雨，依然充滿富貴之氣。這一切，都無聲地述說著一個徽商世家曾經盛極一時的輝煌。
故居的主人胡炳衡，是民國時期頗有成就的大茶商，也是這個茶商世家的最後一位傳人，因此，這片故居以他的名字來命名。而這個故居背後的傳奇，要從“龍川胡氏”說起。胡炳衡家族就是“龍川胡氏”的後代。
“龍川胡氏”的先祖，是東晉的貴族，在那個兵荒馬亂的年月，他們舉家遷到了山清水秀的績溪龍川，此後曆經一千多年，世世代代定居於此。南宋初期因彈劾秦檜死於冤獄的名臣胡舜陟和他的兒子——《苕溪漁隱叢話》的作者胡仔，都是這個家族的傑出傳人。
明朝中葉，“龍川胡氏”的30世孫胡富，於1478年金榜題名，官至吏部尚書；60年後的1538年，該家族的34世孫胡宗憲也科場高中，官至兵部尚書。這在當時，被引以為殊榮和奇談。為此，該家族的後人為他們修建了一座美輪美奐的“奕世尚書坊”，這座牌坊一直留存至今。當年郭沫若曾為它賦詩一首：“天工人可代，人工天不如。果然造世界，勝讀十年書。”他為這座古老的精品建築，賦予了“人定勝天”和“實踐勝於書本”的新內涵。
到了晚清和民國年間，“龍川胡氏”又湧現出了胡炳衡祖孫三代，都是頗有成就的大茶商。
胡炳衡家族的傳奇，要從他的祖父胡永源說起。
生於1831年的胡永源，是“龍川胡氏”的第44代子弟，在他年幼的時候，家道已經中落。為此，他在十幾歲時，就背井離鄉自謀生計。他來到江蘇東台，在一家茶號當學徒，幾年後，他成了茶品鑒別和采購的能手，被老板委任為“水客”，也就是順著水路到徽州采購茶葉的業務員。
這期間，正值太平軍起義，大江沿岸戰亂迭起，從東台到徽州的水路也很不安寧。胡永源每一次出遠門采購茶葉，都冒著生命危險，無論遇到“匪軍”還是官軍，都可能遭到洗劫，甚至性命不保。但他憑著七分機警和三分運氣，每次都把上等茶葉從徽州平安運送到東台，老板對他非常器重，並給予他豐厚的賞金。這些錢，成為胡永源日後創業的原始資本。
又過了幾年，胡永源在茶號中學會了茶務經營的全套本領，於是離開這家茶號，與同鄉王某和洪某合資，開了一家自己的茶號，取名為“裕泰和”。他生活非常節儉，做生意精打細算，但裕泰和茶號依然因種種原因慘遭虧損。另外兩名合夥人王某和洪某都覺得生意做不下去了，執意要求撤資散夥。但胡永源不為所動，他費勁九牛二虎之力，設法湊了一大筆錢，將這兩位合夥人的股本都還給他們，三個人互不虧欠地好聚好散，然後，胡永源以一人之力，繼續苦苦堅持。他把“裕泰和”的字號改成了“胡源泰”，誓與這家茶號共存亡。
在胡永源的苦心經營下，胡源泰茶號不但扭轉了困境，而且逐漸盈利頗豐。於是，他先後開設了多家分店，把生意從東台擴張到靖江、揚州和上海等地區。
胡永源年老之後，回到績溪的老家頤養天年，他的兒子胡樹銘繼承家業，把胡源泰茶號辦得有聲有色。光緒年間，胡永源病故，胡樹銘萬分悲痛地從江南回到老家奔喪。然而這時候，茶號裏幾個心術不正的夥計，趁機勾結外匪，盜走了店內的大批高檔茶葉，胡源泰茶號的經營，出現了空前的危機。