淒涼的月亮，獨倚高樓的少婦，望斷秋水的凝眸，思極而恨的哀怨。這是一幅古典詩詞中常見的閨中圖。這樣故事就像徽州民居裏雕刻的戲文圖，藏在家家戶戶的閣樓裏。既然一輪圓月被掰成兩半，那麼彼此之間都會有著不同的情節——徽商在外奔忙，覓取功名和富貴；商婦在家枯守，嘴嚼離散的千般憂愁。
商婦的故事一直是徽州誌傳當中隱秘的一半。這樣的隱秘，就像徽州山澗中的溪水，隻有在月明星稀的時候，才能聽到它的涓涓之聲。時光荏苒，她們在無數貞節牌坊之中變成石頭，在厚厚的譜牒中變成文字，也在人們的口口相傳之中幻為清風。民國《歙縣誌》裏載有一則故事，道盡了徽州商婦的辛苦：徽州某村有一個人，娶妻三月後就外出經商，妻在家靠刺繡維持生計，每過一年，就用多餘的錢買一粒珠子，把這珠叫做“淚珠”。這樣一直過了很多年。當有朝一日丈夫終於回到家鄉的時候，村裏人告訴他妻子已死了近三年了。丈夫打開妻子住過的房間，睹物思人，黯然神傷，不小心碰翻了一個篋子，有珠滾落一地。丈夫邊拾邊數，共有珠20餘粒。
有好事的文人以這件事為題材，賦了一首詞：
……幾乎拋針背人哭，一歲眼淚成一珠。
莫愛珠多眼易枯……珠累累，天涯歸未歸？
相比而言，女人的痛感總是比男人強烈得多，在逼仄的朱樓，在關上門窗的閨房，痛感往往隨著一縷陽光的滲入，像塵埃一樣激躍；或者像窗牖外的月光，淒清而刻骨銘心。“鬆籟蕭條燭影幽，雨聲和漏到西樓。金爐香斷三更夢，玉簟涼生五月秋。”這是寫徽州女人的。“人寂寂，夜悠悠。天涯信陰暗凝愁。疏簾到曉簷花落，滴碎離心苦未休。”這同樣也是寫徽州女人的。
寫徽州女人的不僅僅是筆墨，還有石頭。那些矗立在村頭巷尾用石頭壘就的貞節牌坊們，同樣也是一首首閨中詩。隻不過，這樣的詩句是冰冷的，它們是淒泣的冤魂，是歲月的歎息，也是人性的撕心裂肺。
與女人相比，徽州男人則要功利得多。一般來說，遠方的遊子並不像閨中人那樣一味兒女情長，他們一走出山外，所麵臨的壓力，主要是創業的壓力和家鄉父老的希冀。至於其他的，男人自有他們解脫的方式，除了誌在四方之外，有的是鏤金錯彩和倚紅偎翠。比較起山坳的寂靜和單調，平原上更顯鍾靈毓秀，和雨清風，在那兒可以掙置田產，買個幾房姨太太什麼的；那裏既沒有太多鄉規民約的束縛，也沒有家、親戚的拖累；可以在會館裏肆意喝酒，於平山堂賞月，遊秦淮河狎妓。
外麵的世界這樣精彩，男人們自然會樂不思蜀。在山外的世界，一部分徽州人定居下來，懶得再回那個僻靜孤遠的山村了，徽商以奮鬥得來的金錢，找到了自己的安樂窩，也找到了成功的感覺。
明代的很多話本小說和筆記都記載了徽州人創業的故事。比如說明人蔡羽的《遼陽海神傳》，就詳細講述了徽商程宰居積致富的傳奇：正德年間，程宰與其兄遠赴遼陽經商，不幸虧本折利，耗盡了本錢。兄弟二人羞於返鄉被人恥笑，遂受雇於其他商人，料理生意，窮困潦倒，一籌莫展。後來程宰在遼陽海神的啟示下，從事囤積居奇。正德十四年夏，有人販藥至遼陽後，在其他藥材脫手後，僅剩黃柏、大黃各千餘斤無人收購，竟欲棄之而去。程宰便用自己受雇所得的酬金10餘兩，將二藥全部買下。數日後，遼陽疫病流行，急需黃柏、大黃治病。二藥供不應求，價格猛漲。程宰急將二藥拋售出去，連本帶利共得紋銀500餘兩。又有荊州商人販運彩緞入遼，不幸彩緞在途中受濕，發黴生斑，難以銷售。程宰遂以紋銀500兩乘賤購得彩緞400捆。一個月後，有人在江西起兵造反，朝廷急調遼兵平叛。出征的隊伍急需趕製軍服，以便及時開拔，一時間，帛價大漲。程宰所囤積的彩緞一下子漲了三倍。再就是第二年秋天，有蘇州商人販布入遼，其餘大部分皆已脫手，僅餘粗布6000捆無人問津，便以低價賣給程宰。正德十六年三月，明武宗“駕崩”，天下官民皆需喪服，粗布遂成緊俏商品。程宰用銀千兩買得的粗布，一下子就賣得紋銀四千餘兩。他就如此這般地翻來翻去，竟在短短的四五年裏，由一個本錢不過10兩的小商人一下子躍為腰纏數萬的大富商。
這樣的故事一直像是徽州人的縮影。在進入山外的世界之後，徽州人就像一粒粒米一樣，跳進了大糧倉；或者像水滴，融入了海洋。在全國範圍內，這群來自南方山區、說著一口難懂的方言，能把算盤打得像雜耍一樣的商幫在當時各項生活中打下深刻的烙印。他們被人稱為“徽駱駝”，就是“徽老大”的意思。因為“駱駝”一音其實來自於徽州方言中的“老大”，在徽州方言中，尤其是歙縣話當中，“駱駝”與“老大”的發音基本一致的。因為實力和資金上的雄厚，徽州人每到一個地方，便會很快地控製著當地的經濟命脈，“無徽不成鎮”與“徽老太”就是同樣意思。後來，因為“駱駝”本身是一個並不招人反感的詞彙，可以比喻著徽州人吃苦耐勞的精神，徽州人也就慢慢地接受了這一說法，以致於後來“以訛傳訛”延續了下來。直至胡適之後來在為《績溪縣誌》題詞時，也寫了“努力做徽駱駝”六個字。“徽駱駝”從此一舉成名。其實徽州哪裏有“駱駝”的概念呢，在那個偏僻之地，幾乎很少有人見到過駱駝，當然談不上用它們作比喻了。
除了程宰的故事之外，當時一些著名的話本小說，都有著徽商或者徽州人的身影晃動。比如說淩蒙初所寫的《初刻拍案驚奇》、《二刻拍案驚奇》，馮夢龍的《三言》（《警世通言》、《喻世明言》、《醒世恒言》）等等，還有安徽全椒人吳敬梓所寫的《儒林外史》中。