再看胡雪岩晚年的做法，由於政商關係緊密，胡雪岩政治上受到左宗棠的政敵李鴻章等人的排擠，對手利用其生意上的困難，導演了錢莊擠兌風潮。眼看錢莊就要倒閉了，胡雪岩回到自己那個豪華富麗的宅院，胡雪岩的十三位姨太太依舊各自舒適地過著日子。唯獨羅四太太（即以前羅四小姐）心中盤算著未來的日子，計算著來日東山再起。首先，她叫十三位姨太太出來，隨後就派人封了這些姨太太的居所，這樣姨太太們的細軟、私藏還可以保留一部分，每人給五十兩銀子，讓她們各自外出謀生。對此，胡雪岩默然無語。他明白這是羅四想在風波過去之後，由她出頭，重振雄風，因而就默許了這種做法。其次，羅四太太命人去取回存在別人家中的一枕頭的奇珍珠寶。誰知這戶人家“吃肉不吐骨頭”，取回來的枕頭是一具棉枕。這枕頭裏可收藏著羅四太太價值銀兩百萬之餘的奇珍異寶呀！她當即氣得昏了過去。在此之前，胡雪岩曾經對羅四太太說：“錢財是身外之物，生不帶來，死不帶去。這一次栽了這麼大的跟頭，我總以為你也應該看開了。”又說：“此後種種，要有一種‘譬如昨日死，譬如今日生’的想法。”最後，羅四太太請烏先生順帶一箱子珠寶出去的時候，以前的仇家故意跟胡雪岩過不去。但如果奮力一試，還是有機會的。胡雪岩歎了口氣，說道：“算了吧，這一切都是命。”
末了，胡雪岩把諸位姨太太打發回家，一個個都安置妥當。對於特別忠心的七姨太，胡雪岩還給她介紹了一個好人家，並送了一份豐厚的陪嫁。
總之，盡管胡雪岩落入困境，但為人慷慨俠義的行事風格沒有絲毫改變。
4. 能賺會花，決不做守財奴
胡雪岩為解運漕米的事情往返杭州、上海，送王有齡到湖州赴任，都是租用阿珠家的船。幾度相處，胡雪岩與阿珠一家，特別是與阿珠姑娘慢慢建立了很好的感情。胡雪岩的灑脫倜儻贏得阿珠姑娘的喜歡，胡雪岩也很喜歡阿珠姑娘的清純樸實。為了答謝阿珠家對自己的照顧，也為了討阿珠姑娘高興，胡雪岩送給阿珠一個首飾盒。盒內雖隻有簡簡單單一瓶香水、一個八音盒、一把象牙篦子、一隻女表，但對於阿珠姑娘這樣一個船家女來說，已經算是百寶箱了，驚喜之下也很為如何收藏這隻首飾盒費了一番心思。胡雪岩很怕自己送給她禮物，讓她丟不開，反倒害了她，便對阿珠說：“人以役物，不可為物所役。心愛之物固然要當心被竊，但為了怕被竊，不敢拿出來用，甚至時時憂慮，處處小心，這就是為物所役，倒不如無此一物……”
這一番很富哲理的議論，可以看做是他自己對於物我關係認識的一種總結。胡雪岩說自己就知道“銅錢眼裏翻跟鬥”，但他卻似乎從來沒被錢眼“卡”住過，也確實是不為物所役。對他來說，做生意賺錢的樂趣，其實不在錢上，而是在賺錢的過程上。而對錢本身，許多時候他倒似乎是“一文不當二文”的。他自己就說過，他有了錢絕不會糊在牆上看看過癮，而是要用出去。他最大的樂趣就是看到一個人被錢難倒了，自己從口袋裏掏出一把銀票來遞過去說：“拿去，夠不夠？”
正是這樣一個沒有被錢眼“卡”住過的人，恰恰在賺錢上獲得巨大的成功。
說句實話，人與物的關係，實在是千百年來最讓人類困擾的問題之一。
人類離不開外物，譬如被人看做身外之物的錢財，對於現代人來說就幾乎是不可或缺的。不信，你可以出趟門試試，不說你沒錢得受寒凍、得餓肚皮，最起碼你會寸步難行。比如你要坐車就得買票，如果遇上一個很講“原則”的售票員，即使少了一分錢，你也別想坐上車。所以，外物並不是我們可以隨意地決定要和不要的，人必須憑借外物才能生存。
另一方麵，人又確實不能為物所役，錢是人賺的，錢是人用的，生不帶來，死不帶去，得之正道，所得便可喜，用之正道，錢財便助人成就好事。假若做了守財奴，一個小錢也看得重如性命，甚至為了錢財忘了義理，為一得一失不惜容顏憔悴甚至丟掉性命，那就是為物所役，那也真就“倒不如無此一物”了。
因此，曆代先哲都諄諄告誡我們：可以留意於物，但不能留滯於物，更不能為物所役。這一處理物我關係的原則，應該也適用於一個優秀的商人。自然，在商言商，這是商界通行的一條規則。言商即是言利，也就是言錢。因此，言利言錢，大概可以作為所有商人的一個共性特征。從這個層次上看，商人自有自己的價值標準，優秀的商人也是最能體會錢財的作用，最善於“在錢眼裏翻跟鬥”的。商人的日常事務，就是去籌謀如何賺錢，而且是如何大筆地賺錢。因此，商人也應該比一般人更喜歡錢。
不過，正是商人這種與錢財天然的不可分離的聯係，也決定了一個優秀的商人更必須是一個能夠正確處理自身與外物之間的關係、真正能將錢財看做身外之物的人。說到底，大量賺取錢財並不是最終目的，做一個成功的商人的樂趣，自然常常直接體現在能賺錢、賺大錢所帶來的快樂上。但從深層來看，能使一個成功的商人體驗到一種深刻而持久的人生樂趣的，又確實並不在於占有大量錢財本身，而在於憑著獨特的眼光和見識取財於正道，由此獲得自我能力、素質、智慧、才幹的肯定；在於人能自由地馭使外物，將錢財用之於正道；在於用憑借自己才能、智慧賺取的錢財，去助人成就好事所帶來的快樂上。