“葵巳，光召丞相、禦史、將軍、列侯、中二千石、大夫、博士會議未央宮。光曰：‘昌邑王昏亂，恐危社稷，如何？’群皆驚愕失色，莫敢發言，但唯唯而已。延年前，離席按劍曰：‘先帝屬將軍以幼孤，寄將軍以天下，以將軍忠賢，能安劉氏也！如漢家絕祀，將軍雖死，何麵目見先帝於地下？今日之議，不得拖延。’”於是，大臣們都俯首叩地，齊應：“萬姓之命，在於將軍，唯大將軍令。”侍禦史嚴延年劾奏霍光：“大將軍擅廢立主，無人臣禮不道。”霍光提議由太後決議。於是，帶領群臣奏明上官太後。太後批準了以霍光為首的二十四位大臣聯名廢帝的奏章，並盛裝親臨承明殿，主持廢黜劉賀朝會。在位二十七天的劉賀被廢。
柏楊先生在他編著的《現代語文版——資治通鑒》中評論：“霍光先生之廢黜劉賀先生在中國五千年漫長的曆史上，也隻此一次，是站在國家利益立場，而不是為了篡奪。”
擁立新帝
劉賀被廢，漢朝又麵臨著後繼無人的危急。廷尉監丙吉推薦漢武帝的曾孫，衛太子的孫子劉病已。
“初，衛太子納魯國史良娣，生子進，號史皇孫。皇孫納涿郡王夫人，生子劉病已，號曾皇孫。曾皇孫生數月，亦坐收繋郡邸獄。故廷尉監丙吉受詔治巫蠱獄，吉心知太子無事實，擇謹後女胡組征卿，令乳養曾皇孫。”
“巫蠱事連歲不決，武帝病……”人言“長安獄中有天子氣”。於是，武帝遣使者分條中都官詔獄繋者，一切皆殺之……丙吉閉門拒使者不納……
監獄不供應劉病已夥食，丙吉就拿出自己的俸祿養活劉病已。胡組刑滿出獄，丙吉無奈。“吉聞史良娣有母貞君及兄恭，乃載皇孫以付之。”掖庭令（宮廷事務總管）張賀曾在衛太子宮當過賓客，很受衛太子倚重。劉病已漸漸長大，為報衛太子的知遇之恩，想把孫女許配給劉病已。弟弟張安世（車騎將軍）堅決反對，說：“劉病已是衛太子的血統，運氣好的話，政府給他一口飯吃，不好的話，會有滅種之禍。以後不要再提嫁孫女的事。”張賀仍不死心，聽說暴室嗇夫（監獄管理員）許廣漢有一女名叫許平君，和劉病已年齡相仿，就擺下酒宴請許廣漢應允這門親事。許廣漢欣然答應。張賀一手替劉病已操辦了婚事。兩人很快有了兒子，起名劉奭。
“杜延年亦知曾孫德美，勸光、安世立焉。”
“秋，七月。光坐庭中，會丞相以下議立”，並聯名上奏上官太後。公元前74年七月二十五日，迎立劉病已為漢朝皇帝。劉病已繼位後改名劉詢，史稱漢宣帝，尊上官太後為太皇太後。同時加封以霍光為首的立帝功臣。霍光以朝廷無舊臣，提升張安世為右將軍（僅次於大將軍）作為自己的副手。
立許廣漢女許氏為皇後。