在吳敬梓的筆下，徽商一如既往地保持著徽州人的特點，書卷氣比較濃，“賈而好儒，亦商亦儒”。《儒林外史》第二十二回講兩個徽州文人牛玉圃和牛浦到揚州河下（徽商聚居區）鹽商萬雪齋家中所見到的情景：
當下走進一個虎座門樓，過了磨磚的天井，到了廳上，舉頭一看，中間懸著一個大匾，金字是“慎思堂”三字……兩邊金對聯寫：“讀書好，耕田好，學好便好；創業難，守成難，知難不難。”中間掛著一軸倪雲林的畫，書案上擺著一大塊不曾琢過的璞，十二張花梨椅子，左邊放著六尺高的一座穿衣鏡。從鏡子後邊走進去，兩扇門開了，鵝卵石砌成的地，循著塘沿走，一路的朱紅欄杆，走了進去，三間花廳，隔子中間懸著斑竹簾……揭開簾子讓了進去，舉目一看，裏麵擺的都是水磨楠木桌椅，中間懸著一個白紙墨字小匾，是“課花摘句”四個字。
吳敬梓可以說是對徽商的情況非常熟悉的，而他所描繪的，正是徽州人家的普遍陳設。由此可見，徽州人即使在外經商的時候，也保持著自己家鄉的習慣和愛好。徽州商人處人待事文質彬彬，鼓瑟彈琴間，往往能把商賈之事輕易搞定。徽州商人給人整體上的感覺更像是淡定雅致的讀書之人。當然，這也源於當時社會生活的特殊情況，這些徽商們很難說是真正的商人，他們隻是披著商人錦衣的文人，“亦儒亦賈”是他們普通的情況。
“有錢人總是遭窮人忌恨，而外來的有錢人更是遭人忌恨。”查姆?伯特曼曾經在《猶太人》一書中這樣表達。徽商在當時所麵臨的情況同樣如此。在不發達的農耕社會，因為物質的匱乏，思想和見識的狹隘，往往更難見寬容。社會心理狀態在商人們麵前表現得尤為嫉妒，吃不到葡萄就說葡萄酸。值得一提的是文人們，當文人處於社會中心的地位因為這股新興的勢力的上升而遭受到冷遇時，他們的心態明顯失衡，這也直接導致他們在言行中對於財富的充分嫉妒和不屑，表現出對於這種新興勢力的冷嘲熱諷。而文人們的言行，又直接影響著社會大眾的思維和傾向。在這種情況下，徽商們普遍被演繹成“反麵角色”寫入話本，那是最自然不過了。清朝的話本作家淩蒙初對於徽商的評價還算是客氣的：“徽州人因是專重做商的，所以凡是商人歸家，隻看你所得歸來的利息多少為重輕。得利多的，盡皆愛敬趨奉；得到少的，盡皆輕薄鄙笑，就如讀書求名中的中與不中光景一般。是謂實情。”這樣的評價，雖說客氣，但不經意中，總透露出一股鄙夷味。這反映了一個時代的風氣。這個時代的風氣是重文輕利、重仕輕民、重農輕商的。
比較有名的是馮夢龍《警世通言》第32卷《杜十娘怒沉百寶箱》的故事：明代萬曆年間，一艘從京師南下的官船在揚州鎮江瓜洲泊岸，窗簾掀起，露出一對男女的身影，男的叫李甲，是浙江布政使的大公子；女的是京師名妓杜十娘，不過眼下已經從良，這一趟是隨官人回浙江老家去的。
可偏偏對麵船上的有一個徽州鹽商出現了，並且惹起事，造就了杜十娘的悲劇命運。馮夢龍是這樣寫的：“卻說他舟有一少年，姓孫名富字善賚，徽州新安人氏。家資巨萬，積祖揚州種鹽。”這個徽州鹽商孫富在看到杜十娘後，立即“魂搖心蕩，迎眸送目”。也正是孫富的出現，使得李甲和杜十娘的故事成為南柯一夢。孫富自恃有財，想強行霸占杜十娘，於是便單刀直入跟李甲談判，想用金錢來交換杜十娘。貪財的李甲竟然同意了，把杜十娘交換給了徽商孫富，但性格剛烈的杜十娘誓死不從，在瓜洲渡投水而死。
其實現在看來，可以對《杜十娘怒沉百寶箱》進行重新解讀的地方有很多，除了杜十娘看不起生意人的銅臭之外，書中還隱藏的另外一層意義，那就是金錢財富對權貴的無聲挑戰——叫板的雙方，一方的李甲是高幹子弟，浙江布政司，應該算個省部級幹部了；而另一方，則是腰纏萬貫的鹽商。令人感到驚異的是，在這場代表各自階層的潛在對抗中，大款終究戰勝了高幹子弟，杜十娘被李甲以千金之價轉讓給了孫富——這樣的方式，在某種意義上，也是具有曆史性的，它標誌著一幫致富階層已經以咄咄逼人之勢走上了曆史舞台，他們的“屠龍劍”就是他們手中的金錢，金錢在手之日，正是野心膨脹之時。杜十娘沉江而死，實際上最應該受到譴責的應該是李甲，正是這位公子哥，在金錢的誘惑與淫威之下患上了一回徹底的軟骨病。
馮夢龍是江蘇吳縣人。位於長江下遊的吳縣同樣也是徽商熙攘之地。從這一點上來說，馮夢龍對於徽商並不陌生。也可能自小接觸太多，馮夢龍對於徽商一直擁有自己的看法。這個出身於破產官僚家庭的落魄書生在科舉上一直不太順利，這也很正常，像馮夢龍這樣的落魄才子根本不適合循規蹈矩的科舉，在更多的時候，馮夢龍隻是在私下裏奮筆疾書他的傳奇話本，滿足於市井對他的一聲喝彩。一直到51歲時，馮夢龍才考取了一個貢生。這樣的成長經曆，當然使得這個窮魄書生有著很濃重的酸葡萄心理。更何況文人從本質上總是不太喜歡商人的，從一誕生起，他們就似乎是兩種不同類型的動物，就像貓與狗一樣，有著前世的恩仇。
當徽商孫富被描繪成一個忤逆，連一個妓女也不屑於這樣的商人時，徽商在世俗眼中，便怎麼也高大不起來了。實際上也不僅僅是徽商，在英國的莎士比亞、法國的巴爾紮克以及後來的狄更斯筆下，不同樣也有著心狠手辣嗜血如命的威尼斯商人、慳吝無比的巴黎小商販以及工業革命時倫敦的暴發新貴嗎？