胡雪岩姬妾成行，號稱“十二金釵”，分住院內長弄中各樓，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的銀盤，胡雪岩隨手翻一個，侍女就按牌上名字叫這個姬妾侍寢，宛如皇上翻牌子一樣。胡雪岩每天早晨起床，由傭人端上用翡翠盤盛著的青黃赤白各色寶石若幹枚，讓他“養目”。每日合家大小還要鷺序般的去上房恭請晨安。至於唱戲祈福，擺酒張筵，無不窮極奢華。胡雪岩喜歡和眾多的姬妾一起嬉戲、玩樂。他讓諸妾穿上寫著“車”“馬”“炮”字樣的紅藍馬甲，登到在高台上畫好的棋盤，紅藍對峙，胡雪岩和夫人在欄杆後用竹竿指揮她們，“下活棋”。胡雪岩和姬妾一起過著肉林酒池、歡歌盛宴的奢靡生活。享樂縱欲無度，揮金如湯沃雪。派頭甚至超過了一些勤政節儉的皇帝。
胡雪岩雖聰明一世，在生意場上八麵玲瓏如魚得水，但在官場上卻是個“低能兒”，政治上的“不成熟”，不諳官場規則，成為李鴻章“排左先排胡，倒左先倒胡”策略的祭品，做了左宗棠與李鴻章政治鬥爭的“犧牲品”。
光緒十年（1884年），胡雪岩這位縱橫商場、江湖，出入朝廷廟堂之上，權傾一時、富可敵國的一代巨賈，身敗名裂，落得傾家蕩產孑然一身，近3000萬兩銀子的家業也頃刻殆盡。“看他樓起，看他樓塌”，短時間之內事業家業俱毀，人間天堂地獄，如夢幻般迅速演繹一遍，他在淒涼中鬱鬱而終，僅六十二歲。
胡雪岩貧寒出身，在短短十幾年的時間裏迅速發跡，成為當時富可敵國的巨商富賈；左宗棠收複新疆，他幫助籌備軍餉，替清朝政府向外國銀行貸款；他奉母命建起一座胡慶餘堂，真不二價，童叟無欺；瘟疫流行時向百姓施藥施粥，被人們稱為胡大善人。胡雪岩的人生過程，跌宕起伏，大起大落；生意亦官亦商；為人亦莊亦諧；既狠毒奸詐又樂善好施；財產廣積，富可敵國，實所罕見。但他如一個一夜暴富的“暴發戶”，賭徒般揮霍，荒淫奢侈近於瘋狂、變態，超乎尋常。他的一生有著令人羨慕的巨大成功，也有令人搖頭的慘重失敗。
“杭人胡某，富坷封君，為近今數十年所罕見。而荒淫奢侈，跡迥尋常所有，後卒以是致敗。”汪康年在《莊諧選錄》中的這段話，為“福兮，禍所伏也”這句古語又作了一次生動的詮釋。
老祖宗孟子有幾句很好的話：“富貴不能淫，貧賤不能移，威武不能屈，此之謂大丈夫。”這些話在四海之中檢驗了兩千多年不出差錯。這樣看來，胡雪岩荒淫奢靡，泡在嬌樓之中，沉溺於女兒鄉，嚴重違背“富貴不能淫”這一點，這位“戴紅頂子”的“暴發戶”所作所為不能稱之為人人敬佩的大丈夫，他的結局不值得惋惜。