晉商從清末開始走向衰敗，而清政府對商人的肆意侵榨，是晉商走向衰落的一個重要因素。清末除商稅、關稅外，鹹豐年間開始征收厘金，商人備受其苦。山西從光緒元年（1875）開始到十九年（1893），大量增設厘卡，每年厘金收入由9萬兩上升到22萬兩，藥捐、票捐、鹽價加斤等各類捐輸每年增加銀20萬兩，到清末全省已有厘卡35處，凡藥、鹽、皮、貿、煙酒、煤、糧都是厘金征收項目，到光緒三十四年（1908）厘金收入近代東北火車站高達31萬兩。再有是濫征、重征商稅。1875年，山西普源公商號由廣東采辦藥材、藥酒，運銷直隸，途經天津，被鈔關重征，以至商人賠累，被迫改道，由山東運銷青島。
近代交通發展後，貿易路線改變也對晉商的經營有不小的影響。1845年以後，外國的一些輪船公司在中國先後開辟了若幹航線，沙俄對華貿易也由陸路改為走天津、大連、海參崴的海上運輸，這就改變了中國舊有的商品運輸路線。山西作為對俄、歐貿易要衝的商路逐步改變，晉商曆來占有的地理優勢也逐漸喪失。中東鐵路、京綏鐵路等線路的開通，對晉商舊有的經營商路又是一次打擊。早在清光緒十六年（1890），李鴻章在彼得堡與俄政府達成秘密協議，允許俄國建西伯利亞到海參崴的鐵路即中東鐵路。光緒二十九年（1903）七月，鐵路通車。俄商利用海上運輸和中東鐵路運輸商品，而晉商是用駱駝、馬車走蒙古大漠運送商品的，二者一相比較，優劣自然分明。
明初，晉商是憑借政府為北方邊鎮籌集軍餉實行開中製而崛起的，明政府通過這一辦法的實施，既解決了北方邊鎮軍餉，又收到了鹽稅，而晉商也因此而興起。明代揚州鹽商中，晉商占主體是因為他們和政府建立了密切的關係。
入清後，晉商在政治方麵的優勢依然沒有動搖，能達到與政府如膠似漆的程度。以山西票商為例，他們先從經濟上幫助窮儒寒士入京應考和走馬上任。儒士一旦考中，票號便利用其關係代為活動放任外官。這些靠票號從經濟上幫助走上官場的儒生，以後就成為與票號有特殊關係的官員，開拓期票號業務很多時候就靠這些人際關係網。對於在任的王公大臣，山西票號更是設法與他們交往，以圖他們能在生意上多加照顧，將公款私款的彙兌、存儲業務包攬過來。山西票號利用交結封建官吏擴大業務，以此謀取利潤。
清代，晉商曾經推動了晉劇的繁榮，一方麵是為了聊解思鄉之情，另一方麵也是他們交接大官、拉攏生意的極好方式。晉商宴請尊貴客人一般到相公下處招待，相公下處就是旦角演員的住所。晉商經常在此結交王公貴戚，這裏酒席講究，招待殷勤，屋內布置精致雅靜，他們絕對不到妓館等下流交際場，因為這些地方高位者不敢涉足，晉商使盡其交結封建官吏的本領與官吏建立了互相利用的關係。
積陋習 守舊攤 業亡人散
近代西方國家商品湧入中國後，因為產品是機器製造，物美價廉，在同中國傳統的手工業商品競爭中自然占據優勢。如在恰克圖後期貿易中，俄商已經能用機器壓製磚茶了，晉商卻仍然是手工製造，不思向人家學習和引進新技術或購買新設備，結果在競爭中敗下陣來。又如晉商對電彙和現代交通工具的重視和運用也很不夠，有些票號甚至在使用了一段電彙後，又“謹慎”地停下來。至於對現代科技知識的學習和了解，多數商人缺乏自覺和主動，他們把自己知識領域局限在一買一賣、一收一付的狹窄範圍之中。