“霍光什麼時候把我們當成了輔政大臣。我們對他尊重，他什麼時候對我們尊重過；我們對他忍讓，他什麼時候對我們謙讓過，他早就不把我們當成輔政大臣了。參他，扳倒他。我決心已定，你到底幹不幹？不幹，我就和長公主一起幹。”上官桀破釜沉舟了。
桑弘羊早聽說蓋長公主對霍光也有怨恨。要麼跟著上官桀他們一起幹，要麼坐等廷尉對兒子的調查，任憑人家的處理。他審時度勢，現在有了上官桀這樣的皇親和蓋長公主這樣的無冕之王，如果和他們聯手，參倒霍光應該說是沒有什麼問題。但要有把握，這把握就是扳倒霍光的強有力證據。他問上官桀：“老將軍要參霍光，不知拿到霍光的什麼把柄？”
上官桀擼著袖子說：“他把持朝綱獨斷獨行，他飛揚跋扈，破規逾製。”
“就這些？就這些就能參倒霍光？！”
桑弘羊在心裏笑起這兩個人。一個是婦人之見，憑霍光不給丁外人封侯一件事就想參倒霍光，簡直是白日做夢；一個是迂腐之輩，手中無憑無據，依靠咋咋呼呼想扳倒霍光，最終是搬石頭砸自己的腳。他搖著頭說：“你們就以這幾句空話皇上就能相信，就能準了你們的本，罷黜霍光嗎？”
“還有……”上官桀接著說，“他縱容那些文學、賢良攻擊先帝；他……”桑弘羊搖搖手，說：“你可別忘了，召開鹽鐵會議是皇上批準的，讓大家暢所欲言也是皇上允許的。要想參倒霍光，必須要有擊中要害的證據。”
上官桀急問：“禦史大夫一定有高招，我可是專門來領教的。快說，快說！”
桑弘羊湊近上官桀，握了握上官桀的手，說：“聽我一句勸告，霍光你們是參不倒的，除非你們有他圖謀不軌，篡朝謀位的證據。”
“這……”上官桀撓著頭，一副無計可施的樣子。
“不過……”桑弘羊提醒上官桀，“霍光也不是無懈可擊。傳說他在廣明閱兵時讓全軍將士喊忠於他的口號，不知老將軍聽說沒有。”
“聽說了，聽說了！全京城都在傳這件事。”
“還有，霍光曾逼迫過掌璽官交出玉璽那件事，不知老將軍是否記得？”
“記得，記得！是掌璽官親口說的。”
“老將軍以為這兩件事是不是可以證明霍光有篡朝謀位的野心？”
上官桀茅塞頓開，拍著腦袋說：“我怎麼把這些事情都忘了。禦史大夫就是棋高一著。我和蓋長公主都是粗人，寫不了奏章，還是請你老出山，定然大功告成。事成之後，我保證奏明皇上，把大司馬的官位送給你。”桑弘羊哈哈笑起來：“我已經是七十多歲的人了，官做到禦史大夫也就到頂了，早就沒有了再升官的奢望。依我看，將來的大司馬、大將軍非你莫屬。”
上官桀一想到坐上大司馬、大將軍那一人之下萬人之上的高位，要參倒霍光的決心更加堅定了。他拍著胸脯向桑弘羊保證：“隻要參倒了霍光，一定恢複鹽、鐵、酒官賣製度，鹽鐵總監照舊讓桑遷去當。”
這正是桑弘羊所要的。隻有參倒霍光才能保住兒子，隻有參倒霍光，才能保住他們家的既得利益。他決心加盟。