從晚清到民國，徽商作為封建年代的舊商幫，逐漸被時代的洪流吞沒。
道光年間的鹽政改革，打破了徽商在江淮地區的鹽業壟斷。隨後，洋人和太平軍、撚軍等相繼點燃戰火，長江下遊和北京、天津等最為豐饒的地區，遭受的戰亂洗劫最為慘烈。沒有安定的市場環境，各種商業活動，特別是實體商品的流通和買賣，陷入舉步維艱之境。
太平天國期間，不僅“義軍”和官軍在江浙地區四處搶劫，而且朝廷對商戶的稅收，也逐年遞增。同治年間的茶稅，較之鹹豐初年翻了好幾倍。與此同時，長江沿岸地區乃至京師重地，幾乎都民不聊生，導致茶價銳減。此外，洋商為了獨霸市場，不惜低價傾銷。不僅僅是茶業，包括絲織業、藥業、百貨業等徽商的傳統行業，都受到了極大衝擊，形成“十商九困”的局麵。
連一些朝廷要員，都對朝廷向商戶索要苛捐雜稅之弊深有感觸。鎮壓農民起義頗有奇功的晚清要員尹耕雲，曾向鹹豐皇帝上奏道：“如今朝廷向商戶新增加的‘抽厘’之稅，尤其令我不忍言說。哪怕是當麵交易的一點點商品，賣方和買方都要被從中抽走好幾文錢的稅金。至於商品的車船運輸，最多五裏就有一道收費的關卡，不出十裏就一所局衙（商人必須交更多費用）。如此層層盤剝，商人麵臨著極大的成本，如何還能做得下去？物價又怎能不急速上漲？”
根據史料記載，當時江浙地區的“厘金”，稅率之高居全國之首，這筆重稅的多一半，都由徽商所納。許多徽商之家由富轉貧，由貧困轉為赤貧，經商難以為繼。
民國以後，徽商規模較之清末進一步萎縮。這期間，地產大王程霖生家族短暫的興衰史，為傳統徽商的閉幕，畫上了一個光彩奪目的句號。
歙縣人程霖生（1885—1943年），在民國時代的上海，一度堪稱與猶太人哈同齊名的房地產巨商，其家族的豪宅——占地麵積8293平方米的南京西路1522弄花園住宅——如今已成為上海市頗有名氣的曆史文物。
程霖生之父程謹軒，在晚清光緒年間從歙縣老家背井離鄉來到上海謀生，在上海灘的街頭偶然撿到一個錢包，裏麵有大量的洋鈔和彙票。他四處打探，終於找到了這個錢包的主人——禮和洋行的德國經理。德國經理接到失而複得的巨款後大為感動，當即以巨款相贈，程謹軒堅辭不受。交談中，德國經理得知程謹軒沒有固定職業，一貧如洗，便極力邀請他到禮和洋行工作。在禮和洋行，程謹軒憑著勤奮苦幹的“徽駱駝”作風，不斷贏得德國老板的信任。由此，程家積累了日後致富的第一桶金。
第一次世界大戰期間，禮和洋行買進大量荒地，贈予身居洋行要職的程謹軒。程謹軒去世後，他的兒子程霖生對這些土地進行了開發。適逢上海日趨繁榮，地價飛漲，程霖生於是投資房地產，獲得了巨額的收益，成為僅次於猶太巨商哈同的上海灘房地產巨商。