一些史學家認為，胡雪岩奢侈、荒唐的私生活，未嚐沒有“演戲”的成分，以此做給朝廷大員們看，表明他隻是個庸俗的商人，毫無政治野心，縱然得到了朝廷的種種封賞，也不會對任何人的仕途形成威脅。
而且，胡雪岩雖然風流成性，但為了結交官府，多次忍痛割愛，將自己的寵姬當做禮物送給很多高官。左宗棠一生光明磊落，自然不會和胡雪岩搞“權色交易”，但是，像左宗棠這樣的君子，晚清官場中能有幾人？
早在胡雪岩當上阜康錢莊的掌櫃後不久，就染上了尋花問柳的惡習。他愛上了一個名叫芸香的青樓女子，並出錢為她贖身。兩三年後，他得知王有齡升任浙江巡撫，連忙帶著芸香一起去道賀。酒席間，王有齡總是偷看年輕貌美的芸香，胡雪岩察覺此事後，立刻強作笑顏，並“慷慨”地把芸香送給了王有齡。此後，王有齡越發覺得自己虧欠胡雪岩的人情，處處為胡雪岩的“擦邊球”開綠燈。
至於芸香在那一刻的感受，史書中沒有記載。我們隻知道，那一年胡雪岩三十出頭，風華正茂、一表人才，而王有齡長胡雪岩13歲，已經胡子老長。幾年後杭州被攻破，王有齡上吊自殺，芸香是否安然逃生，還能不能再嫁出去，之後的日子可得如何，曆史隻留下了一片空白。
在與朝廷大員“親密接觸”的過程中，胡雪岩表麵看來風光無限，實則沒有半點做人的尊嚴，連他最心愛的人，都可以隨時當做交易的籌碼。
即使在“貧賤之交”王有齡巡撫麵前，他依然動輒下跪，唯恐一語不慎便身遭不測。當年左宗棠也是幕僚出身，無論他的上司是張亮基、駱秉章還是曾國藩，左宗棠都不卑不亢、公事公辦，為此險遭橫禍，他一生都沒有喪失最基本的尊嚴。“老佛爺”將曾文正公（曾國藩）和李鴻章當做哈巴狗一樣的奴才，吆三喝四地百般刁難，卻對可殺不可辱的左宗棠頗有幾分忌憚。左宗棠的這種骨氣，正是胡雪岩最為欠缺的，這也許是商人“但求利潤，不擇手段”的本性使然。
此外，胡雪岩深恐某些朝廷要員忌恨自己，對自己暗下毒手，因此不斷通過左宗棠的關係，向朝廷的最高統治者乞求黃馬褂之類的恩賞。更微妙的是，胡雪岩隻有在每年正月初五宴請賓客時，才身穿黃馬褂“亮相”。麵對高朋滿座的貴賓，他既要表明自己有“禦賜”的特殊關係，又不敢在平日過於張揚，深恐遭到小人的打擊報複。
顯而易見，胡雪岩在內心深處，充滿了自卑與惶恐，家財萬貫與窮奢極侈，並沒有讓這位紅頂商人真正感受到“頂天立地做人”的尊嚴。真正的商道，核心是“公平競爭”與“契約自由”，但胡雪岩的紅頂子和黃馬褂，隻能表明他是一條依附於朝廷的寄生蟲，他借助官場之力對市場的壟斷，正是對商道最徹底的背叛。所謂的“官商”，也可以被解讀為“官不官，商不商”，無論在哪一個領域，他都是個“畸形兒”。
在胡雪岩飛黃騰達的日子裏，他的老母金氏，整日為兒子吃齋念佛，在這位老人心中，或許早就料到了胡雪岩不祥的結局。她寧願跟兒子一起做平頭百姓，做小本生意掙辛苦錢，一輩子過粗茶淡飯的安穩日子，也不願做什麼“誥命夫人”，在“伴君如伴虎”的風險下享受榮華富貴。