胡雪岩依附於左宗棠發家之後，生活越發奢侈，某些行為幾近瘋狂。然而在此背後，則滲透著刻骨銘心的自卑與惶恐。
胡雪岩的豪宅號稱“芝園”，修建在杭州元寶街（河坊街），占地麵積超過了1300平方米，裏麵布滿了雕梁畫棟、奇山異石，其中有一座假山，是我國現存最大的人工溶洞。此外，修建房間的用料，大都是紫檀、楠木等上等木材。為了修建這所宅邸，胡雪岩花費了十萬兩白銀。
芝園的設計者，都是胡雪岩不惜重金從京城請來的名家，並請風水先生進行指點，以求福澤後世。芝園不但突出了江南園林的秀麗旖旎，而且頗具皇家宮廷的“王者風範”。其主樓號稱“百獅樓”，二樓的欄杆上，用楠木雕刻著上百頭虎虎生威的雄獅。
芝園裏掛滿了“貴人”的匾額，其中最顯眼的，是同治皇帝的禦書“勉善成榮”。同治皇帝終其一生都沒有實權，他的禦書，自然是奉了慈禧太後的懿旨。
此後的胡慶餘堂，甚至使用了皇家翻修圓明園的木料，其奢華的程度，較芝園猶有過之。關於胡慶餘堂的建立，有一個著名的傳說。據說，胡雪岩的一個姨太太病了，四處求醫問藥，有些人傳來風言風語，說：“既然胡雪岩這麼能耐，為什麼不能自己把姨太太的病治好呢？”胡雪岩聽聞此事，帶著“鬥氣”的心態，創辦了胡慶餘堂，並且不惜血本，一定要讓胡慶餘堂名揚天下。
胡雪岩不但在修建豪宅和商號時揮霍無度，而且私生活足以用“烏煙瘴氣”來形容。他先後娶了12位姨太太，加上原配總共13個老婆。
古往今來，凡是“包二奶”之輩，家庭危機幾乎無可避免，胡雪岩自然也“在劫難逃”，何況他的“二奶”已經突破了兩位數。
起先，胡雪岩把這些姨太太，分別包養在不同的地方。而且，他的姨太太多為“女強人”，可以幫助胡雪岩打理一方的商務。例如，胡雪岩在做藥材生意的時候，就會“偏巧”地娶到一位年輕貌美，而且精通藥材生意的姨太太，作為他在某個市場區域的全權負責人。這些姨太太，基本都是胡雪岩在各個市場區域的“執行董事”。
後來，胡雪岩的母親金氏偶然獲悉此事，覺得讓這些女孩子各自分居一方良心有愧，於是自作主張，派人把這些姨太太全都接到了芝園。當時，胡雪岩正在上海辦事，對老母金氏的舉動全然不知。等到胡雪岩辦完事回到家中，瞠目結舌地發現，她的原配夫人和這些姨太太，早已整日明爭暗鬥亂成一團，家中再無寧日。
這些姨太太，想必當初都聽慣了胡雪岩“我隻愛你一個人”之類的甜言蜜語，此刻一旦麵對真相，其心情可想而知。而暗中最為傷心的，則是胡雪岩的原配夫人程氏。事已至此，胡雪岩雖然極度鬱悶，卻也不敢對老母的主張提出反對，隻好再斥巨資，在豪宅內修築了一座“十三樓”，安頓他的十三位夫人。但從此之後，有些精通商務的姨太太，再也不肯為胡雪岩出一個好主意，相反，彼此之間頗多齟齬，甚至公開吵鬧。她們已經看透，自己不過是“胡老板”算盤裏的一顆小珠子，任由他隨意撥弄。
日後胡雪岩家境衰敗，一些姨太太在分得胡雪岩財產之後，便毫無掛念地離去，還有一些已經消磨掉了自力更生的骨氣，全然彷徨無計。隻有一位姨太太——有人說是羅四太太，也有人說是九姨太——在安頓好胡雪岩後事的第二天，上吊殉死。一段令人唏噓的情緣，來也荒唐，去也荒唐。
胡雪岩在官府麵前不得不卑躬屈膝、誠惶誠恐，但他往往以某些接近變態的行為，來求得心理平衡。例如，他時常與原配夫人程氏坐在觀戲台上，在地麵上畫一個巨大的棋盤，讓姨太太和眾多仆人身穿繡著“車”、“馬”、“炮”等字樣的背心，胡雪岩與大太太對弈，這些“棋子”則根據指令，跑到棋盤的相應位置。他似乎想要以此表明，自己可以把一個個活生生的人，像棋子一樣肆意驅使；然而，他可曾想到，在朝廷的棋盤上，他自己也不過是個微不足道的小卒？