【始元六年（即公元前81年）二月，召集抵達京師的賢良文學（賢良方正所選拔出的人才），商議罷黜鹽、鐵、酒等專營政策。
這場會議的中心主題為“民所疾苦、教化之要”，賢良文學皆：“願罷鹽、鐵、酒榷、均輸官，毋與天下爭利，示以儉節，然後教化可興。”
賢良文學全盤否定官營政策，指責鹽鐵官營、均輸、酒榷等皆是“與民爭利”，這是百姓疾苦的根源。
桑弘羊承認鹽鐵等官營事業，會有一些弊端，但他認為不能全盤否定，他認為：“此國家大業，所以製四夷，安邊足用之本，不可廢也。”
這是國家大業，是抗擊匈奴，消除邊患的經費來源，而且也可濟民救災，有益於農民
抗擊匈奴，消除邊患的經費來源，而且，這些政策便於堵塞豪強大家的兼並之路，且可濟民救災，有益於農民。
此外，關於各種對外政策以及各種治理國家的理念也都有爭議，雙方在這場會議上展開激烈的辯論，
始元六年（即公元前81年）七月，會議結束。朝廷僅僅罷去了郡國酒榷和關內鐵官，以鹽鐵國營、均輸平準為主的興利之事，依然在繼續。
也由於這場會議，霍光借助賢良文學，得到了比較廣泛的輿論支持。而作為他政治對手的桑弘羊則受到一定的挫折。
不過，桑弘羊肯定不會因為這件事而失去奪權的想法。
漢昭帝的哥哥燕王劉旦，因沒有被立為皇帝，心存怨恨。
當初漢武帝病逝後，燕王劉旦曾派遣中大夫至長安上書言：“竊見孝武皇帝躬聖道，孝宗廟......封泰山，禪梁父，巡狩天下，遠方珍物陳於太廟，德甚休盛，請立廟郡國。”
請求能在各郡國設立漢武帝的宗廟，此時霍光秉政，自然沒有同意這個請求，但依然賜錢三千萬，增加封邑一萬三千戶。
這個結果讓劉旦大怒，甚至說出：“我當為帝，何賜也！”的話。遂與宗室中山哀王之子劉長、齊孝王之孫劉澤等密謀造反。
如今，鄂邑長公主、上官桀父子、桑弘羊因與霍光爭權而產生了嫌隙，便紛紛與燕國暗地往來。
他們記下來霍光的過失，並由給燕王上書漢昭帝，還替鄂邑長公主的情夫丁外人求侯爵之位。
上書稱：“子路喪姊，期而不除，孔子非之。子路曰：‘由不幸寡兄弟，不忍除之。’故曰‘觀過知仁’。今臣與陛下獨有長公主為姊，陛下幸使丁外人侍之，外人宜蒙爵號。”
不過，漢昭帝並沒有聽他們的，而且關於封侯之後也詢問了霍光，依然被拒絕了。那霍光拉的仇恨值就更高了。
當時，如果要上書給漢昭帝，是需要由霍光先行批閱，如果有對霍光不利的事情，霍光是可以壓下不報的。
彈幕“霍光權力真的蠻大的。”“難怪他們都想奪權。”“現在霍光的權力就有這麼大了?”“以後他的權力會更大！”】
【所以上官桀是準備趁霍光休假的時候向漢昭帝上書，這樣奏折才能到達漢昭帝的手中，漢昭帝批複之後，他們就能奏章內容來宣布霍光的“罪狀”，再由桑弘羊與群臣一同脅迫昭帝罷黜霍光。
他們上書誣陷道：“光出都肄郎羽林，道上稱蹕，太官先置。”他們騙漢昭帝說霍光把郎官和羽林軍都集中起來操練，道上戒嚴，太官先到目的地安排。
又說到：“蘇武前使匈奴，拘留二十年不降，還乃為典屬國，而大將軍長史敞亡功為搜粟都尉，又擅調益莫府校尉。光專權自恣，疑有非常。臣旦願歸符璽，入宿衛，察奸臣變。”
意思是“蘇武從前出使匈奴，被拘留二十年而不降，回朝後才當上典屬國。大將軍府中的長史楊敞無功，卻當了搜粟都尉。霍光又擅自選拔增加自己幕府的校尉。霍光如此專權放縱，臣懷疑他有圖謀不軌之心。臣願意歸還符節璽印，回京入宮侍衛，提防奸臣的意外之變。”