明朝後期，江南興起收藏古董鑒賞書畫的風氣，以有無古玩為雅俗之分，而“濫觴於江南好事縉紳，波靡於新安（徽州別稱）耳食”，推波助瀾者其實就是徽商。徽商與江南士大夫一起，一次次將江南的書畫市場炒作得紅紅火火，其熱鬧程度甚至波及東瀛（日本）列島。徽州商人及其子弟的收藏，也令業界同人刮目相看。此風氣首開於歙縣汪道昆兄弟、濮南吳氏、叢睦坊汪氏、商山吳氏，休邑朱氏，居安黃氏，榆林程氏，所蓄多是海內名器。
據時人記載，“休、歙名族如程氏銅鼓齋、鮑氏安素軒、汪氏涵星研齋、程氏尋樂草堂，皆百年巨室，多蓄宋元書籍、法帖、名墨、佳硯、奇香、珍藥與夫尊彝、圭璧、盆盎之屬，每出一物，皆曆來賞鑒家所津津稱道者”。百年之物，曆久彌貴，徽商“鑒寶”之法眼，具有相當專業水準，絕不是一般所謂“附庸風雅”。
可惜如斯做派與嗜好，卻在精力上和資本上，大大影響和限製了徽商經營事業的繼續擴張。
“紅頂商人”終受累
就與各級政權和官員的關係而言，徽商也以擴大聲勢、聯絡人情，以至交結權貴、尋求政權庇護最負盛名，所謂“善行媚權勢”是也，所謂“烏紗帽”是也。
在近代前期，商人要想成為佼佼者，要想控製甚至壟斷某個行業的經營，通常必須與政治或權勢建立緊密的聯係，獲得後者的支持和保障。徽商所經營主要行業，即“鹽木典茶”與“絲棉糧食”等，既與各級政權最有關係，依附性和攀附性也就特別強。正是在擴大聲勢、求名以求利方麵，徽州商人最舍得下功夫，人稱“其氣力足以設財役貧，其聲勢足以聯樞藉要”。徽商自奉儉約，但用於應酬交際和糾紛訴訟卻往往毫不吝惜。生活在明嘉靖、萬曆時期的汪道昆曾形容說，徽商“入則擊鍾，出則連騎，暇則招客高會，侍越女，擁吳姬，四座盡歡，夜以繼日，世所謂芳華盛麗非不足也”。
徽商在經營活動中獲得的利潤，很大部分消耗在奢侈性消費和千方百計攀緣政治勢力的巨大花費上，僅清代兩淮鹽商曆年來報效和捐輸給朝廷的銀子就達3000多萬兩。平時擺闊氣，鬥新奇，更不惜巨量資財。《歙西竹枝詞》描寫道：“人家十戶九為商，積累盈餘返故鄉。捐過功名娶過小，要開風氣造華堂。”這生動地描摹了徽商將所得資財轉移回家，不惜巨款交結官府的情形。以奢侈性消費以求取聲名，做大做強生意，也是傳統商人活動的一種基本方式。
在經商乃至一般社會活動中，徽商攀緣權貴和官府勢力的例子，比比皆是。明弘治年間（1488年—1505年）戶部郎中李夢陽說，淮揚鹽商富比王侯，以其厚資，“以蓄聲樂伎妾珍物，援結諸豪貴，藉其陰庇”，說的就是徽商最喜交結豪貴，謀求庇護。今人所熟知的清朝後期“紅頂商人”胡雪岩，就更為典型了。
清光緒年間（1875年—1908年），以學問知名的宗室大臣盛昱曾經形象地論述徽州兩淮鹽商與官府官員的關係，謂：“乾隆盛時，揚州鹽商供巡典、辦年貢而外，名園巨第，絡繹至於平山，歌童舞女、圖畫金石、衣服肴饌，日所費以钜萬計。官以商之富也而脧（搜刮）之，商以官之可以護己而豢之，在京之縉紳，往來之名士，無不結納。甚至聯姻閣臣，排抑言路，占取鼎甲，凡其力之能致此者皆以賄，皆取之國家之課與民之膏血。”
說徽商的賄銀“皆取之國家之課與民之膏血”未免過甚，但不擇手段交結各種有用勢力，則是徽商較之其他商幫更為明顯的特色，與官府官員緊密結合互相利用，則是徽商最為擅長的。徽商之所以能成為明清時期執商界之牛耳的著名商幫，與其不遺餘力地攀緣政治勢力有關。清朝後期，徽商所緊緊依附的大清王朝日暮途窮，氣息奄奄，皮之不存，毛將焉附？徽商也就日薄西山，日益凋敝了。