憑他的直覺，他認為譚柏年身為隆昌米行檔手，從他平時的為人處世和老板不在店內主事這個事實，譚柏年他肯定會營私舞弊。
於是，他盡力地回想著與譚柏年交易的每一個細節，終於給他找到了弱點。
當時他在同譚柏年討價還價的時候，譚柏年出乎意料地並不在意穀米的價碼，隻是要求按一厘二的回扣，把錢存到“裕和”錢莊戶頭上。憑感覺，胡雪岩就能知道這筆錢是譚柏年想拿的回扣。否則，替主人賺的錢，必然是隨大筆米款一同存在一個戶頭裏的。
在抓住了狐狸尾巴之後，胡雪岩就開始了還擊。他以存20萬兩銀子為條件，讓資金緊張的“裕和”錢莊的檔手穀真豪，將“隆昌”米行檔手譚柏年在“裕和”的存款數目告訴自己（這在現在就相當於是你去銀行向銀行人員打探存戶的隱私，是一種對消費者不負責任的表現）。但穀真豪因為好容易能有一筆供自己周轉的資金，也就顧不得商業道德了，他果然給胡雪岩送來了譚柏年存錢的明細賬。
通過這份明細，胡雪岩不僅推算出了“隆昌”近年來的生意情況，還將譚柏年攫取不義之財的事情也暴露無遺。有了這個，胡雪岩又假冒“裕和”之名，故意將譚柏年在裕和的存銀和利息結算賬單送到了老板石三官那裏，讓譚柏年下不了台。更絕的是，胡雪岩還找到了石三官，提出以入股三成、負責米行事務為條件，來幫助石三官整頓米行，挽回損失，這當然獲得了一點管理營銷經驗都沒有的石三官的允許。
其實，事情到這裏，就差不多該收場了。他胡雪岩已經掌控了全局，也扳倒了“隆昌”米行。但是，這不是胡雪岩的做事風格，他的做事風格是將事情做到圓滿，兩麵都好看。所以，他繼續實施著他的計劃。
胡雪岩麵對著譚柏年這個落魄的人，又有罪證在手，直接將他送官不就好了。可是，“得饒人處且饒人”的做事風格讓胡雪岩忍了一手，他計劃著像曾經對待犯錯誤的朱福年一樣，也給譚柏年兩條路供他選擇。首先，譚柏年直接被胡雪岩拿著罪證送官處置；第二個，就是譚柏年改過自新，然後改跟胡雪岩安心管理米行，為胡雪岩當差。並且，胡雪岩本著他“愛才、惜才”的風格還答應如果譚柏年同意幫助自己，就將他的俸銀翻番。進路堵死，退路豁然開朗的狀態下，譚柏年當然隻能選擇屈居在胡雪岩手下供他差遣，胡雪岩因此又收得一個人才，可謂兩全其美。
當然了，按照胡雪岩的風格，如果能做到事事完美，處處吃香那是再好不過了，於是，他再接再厲，又開始了對付潘家祥的計劃。
潘家祥當時並不知道隆昌米行的一係列變故，加上譚柏年是自己的老相識，他絕對信任譚柏年。所以簽約付定金後，他就急忙返回了山東，尋找銷售穀米的合作夥伴。其時，北方很多省份已經鬧了很嚴重的旱災，莊稼也連年賺收，饑民更是成群。而當時，朝廷為了以防民變，嚴令各省的撫督，開倉賑災，安撫饑民。
潘家祥是商人，他當然巴望饑民越多越好，那樣他的米價才能抬得更高，自己也才能掙更多的錢。所以，很多位官員來和他談判都未果，直到來了一位願以每石15兩銀的價碼購買兩萬石穀米的官人，潘家祥才動了做生意的心。原本潘家祥這樣已經能淨賺10多萬銀子，但商人貪婪的本性促使他說：“江南戰亂頻仍，穀價騰貴，購之不易，路途迢迢，成本高昂，我已蝕不起老本，不敢多做了。”沒想到的是，那位糧道大人索性每石又給他再添了2兩銀子。潘家祥見火候已到，決定成交。
等到簽約付定金後，糧道大人意味深長地對潘家祥說：“救災如救火，還望潘公信守合約，按時交割，耽誤了公事，可不是鬧著玩的。”潘家祥因為太信任譚柏年，一個勁兒地拍胸脯說沒問題。