唐宋年間，徽州經商者就不乏其人。9世紀初，白居易的《琵琶行》有“商人重利輕別離，前月浮梁買茶去”之句，浮梁縣就在徽州西部，與休寧和婺源毗鄰。當時的徽州名為歙州，雖地處偏僻，但當地出產的茶葉已經頗有名氣。被後世稱為“茶聖”的陸羽，在其著作《茶經》中，就對“歙州茶”作出了很高的評價。可見，徽人經商之風由來已久，並聲名遠播——盡管文人墨客對他們的指摘，往往存在頗多偏見。
徽商真正聞名全國，走上發跡的道路，則源於明清兩代的兩淮地區的漕鹽運輸。由此，徽商形成了幾百年的商幫，並在曆史上奠定了不容忽視的一席之地。
眾所周知，食鹽是生活必需品，無論鹽價抬到多高，老百姓也不可能不吃鹽。漢武帝是鹽鐵專賣的始作俑者，開創了官府與民爭利之先。西漢後期的名臣霍光雖一度廢止了這一政策，使幼帝劉弗陵獲得了“孝昭帝”的身後美諡，但三國以後，曆代皇朝都厲行鹽鐵專賣。到了宋朝，兩淮地區成為南北鹽務中轉的樞紐。而徽商得以染指兩淮鹽業，並從中賺取暴利，始於明初建立的“鹽引”製度。
“鹽引”製度的製定，是明朝國防的必需。
明朝開國後，長城以北的草原，一直很不安寧。為此，朱元璋曾派大將藍玉深入蒙古沙漠，將元朝的殘餘勢力消滅殆盡。但隨後，瓦剌、韃靼等部落先後興起，明成祖朱棣五次禦駕親征，深入蒙古草原，最終在他64歲那年死於征途，馬革裹屍而還。25年後（1449年），瓦剌酋長也先，在土木堡將禦駕親征的明英宗生擒，並圍困北京。“粉身碎骨全不怕，要留清白在人間”的兵部尚書於謙，就在這一戰中得勝成名。北方遊牧民族的威脅，貫穿於明朝的始終。
為了穩定邊防，明朝在苦寒的北方設立了九個軍事重鎮，邊關將士的糧草，朝廷以出榜招商的方式解決，鼓勵各地的商人運糧到邊塞支援。而官方給運量商人的報酬，不是貨幣，而是一種被稱為“鹽引”的特許資格——商人運多少糧食到邊關，官府就按照相應的價格，允許該商人到兩淮鹽場領取一定量的食鹽，到指定的地區銷售，其中的差價，就是商人獲得的利潤。
大量的徽州商人抓住了這個曆史機遇，以結夥經商的方式，置辦糧草，從數千裏之外的江南地區開赴長城以北的邊關。然而，由於路途過於遙遠，起初的徽商，在糧草與食鹽的轉運貿易中，雖獲利頗豐，但與晉、陝等距邊關較近的商幫相比，依然處於劣勢。
販賣食鹽的利潤是很高的，清朝道光時期的名臣陶澍就此算過一筆賬：在兩淮的鹽場，每斤鹽大約賣到一至四文錢，但鹽商把這些食鹽運到其他各地銷售，“近者六七十文，遠者竟需八九十文不等”，利潤至少翻了二三十倍。明朝的民間經濟，大抵與清代相近，但官府對鹽務的管控，卻遠不及政府嚴厲，據有關專家推算，明代鹽商的利潤，當比清朝猶有過之。
歙州的黃氏家族，和休寧的很多汪姓鹽商，都通過鹽務經營，成為名震一方的累代富商。休寧西門是很多汪姓鹽商的老家，在明朝中期的當地宗譜中，有“鄉人稱富者……西門汪氏”的記載。
精明的徽州商人，在不斷往返於漠北和江淮兩地的艱辛創業中，逐漸創造出了一套更好的辦法。距邊關較近的晉、陝等地的商人，運糧草到邊塞很容易，但苦於南下千裏之外的江淮換鹽販賣。於是，徽州商人與他們達成了“分工合作”的協定，晉陝商人專門負責運糧換取“鹽引”，而徽商代為支鹽行銷，利潤與持有“鹽引”的晉陝商人分攤。
從此，徽商得到了兩淮販鹽之便，並把販鹽的利潤，進一步向茶、藥、墨塊、印書等行業擴張經營。而晉商也得到了更多的銀錢，其中的部分商家，開始走上辦銀號、“錢生錢”的道路。近代史上，晉商以“彙通天下”著稱於世，徽商則大多專務實體經濟，其端倪肇始於自明朝中後期的“鹽引”分工。