劉賀是武帝的孫子，昌邑哀王的兒子。到了以後，就位，行為淫亂。霍光又擔憂又氣忿，單獨問親信的老部下大司農田延年。田延年說：“將軍是國家的柱子和基石，看這個人不行，為什麼不向皇太後建議，另選賢明的立為皇帝?”霍光說：“現在想這樣，在古代有過這種例子麼?”田延年說：“伊尹任殷朝的丞相，放逐太甲而保全了王室，後世稱道他忠。將軍如果能做到這點，也就是漢朝的伊尹了。”霍光就引薦田延年當了給事中，暗底下跟車騎將軍張安世考慮大計，於是召集丞相、禦史、將軍、列侯、中二千石、大夫、博士在未央宮開會討論。霍光說：“昌邑王行為昏亂，恐怕要危害國家，怎麼辦?”眾大臣都驚愕得變了臉色，沒人敢開口說話，隻是唯唯諾諾而已。田延年走上前，離開席位手按劍柄，說：“先帝把年幼的孤兒托付給將軍，把大漢的天下委任給將軍，是因為將軍忠誠而賢能，能夠安定劉氏的江山。現在下邊議論得像鼎水沸騰，國家可能傾覆，況且漢天子的諡號常帶‘孝’字，就為長久保有天下，使宗廟祭祀不斷啊。如果使漢皇室斷了祭祀，將軍就是死了，又有什麼臉在地下見先帝呢?今天的會議，不準轉過腳跟去不表態。諸位大臣有回答得晚的，我請求用劍把他殺了。”霍光自責說：“九卿指責霍光指責得對。天下騷擾不安，霍光應該受到責難。”於是參加會議的都叩頭，說：“天下萬姓，命都在將軍手裏，隻等大將軍下令了。”霍光立即跟眾大臣一起見告皇太後，列舉昌邑王不能繼承宗廟的種種情況。皇太後就坐車駕臨未央宮承明殿，下詔各官門不準放昌邑王的眾臣子進入。昌邑王入朝太後回去，乘車想回溫室，中黃門的宦者分別把持著門扇，昌邑王一進來，就把門關上，跟著昌邑來的臣子不得進。昌邑王說：“幹什麼?”大將軍霍光跪下說：“有皇太後的詔令，不準放入昌邑的眾臣。”昌邑王說：“慢慢地嘛，為什麼像這樣嚇人!”霍光命人把昌邑的臣子們全都趕出去，安置在金馬門外麵。車騎將軍張安世帶著羽林騎把二百多人綁起來，都送到廷尉和詔獄看押。命令過去做過昭帝侍中的內臣看好昌邑王。霍光下令左右：“仔細值班警衛，昌邑王如果發生什麼意外自殺身亡，會叫我對不起天下人，背上殺主上的罪名。”昌邑王還不知道自己要被廢黜了，對左右說：“我過去的臣子跟我來做官有什麼罪，而大將軍要把他們抓起來呢?”一會兒，有皇太後的詔令召見昌邑王。昌邑王聽到召見，心中著慌，就說：“我有什麼罪要召見我啊!”皇太後身被珍珠短襖，盛妝坐在武帳中，幾百名侍禦都拿著武器，期門武士執戟護陛，排列在殿下。眾大臣依次上殿，召昌邑王伏在殿前聽詔。霍光與眾大臣聯名參奏昌邑王……荒淫迷惑，全失帝王的禮義，擾亂了漢朝的製度……應當廢黜。……皇太後下詔說：“同意”。霍光叫昌邑王起身下拜接受詔令，昌邑王說：“聽說天下隻要有諍臣七個，即使無道也不會失天下。”霍光說：“皇太後已詔令廢黜，哪來的天子!”當即抓住他的手，解脫他的璽和綬帶，捧給皇太後，扶著昌邑王下殿，出金馬門，眾大臣跟著送行。昌邑王向西拜了一拜，說：“又笨又傻，幹不了漢朝的事。”起身上了天子乘輿的副車。大將軍霍光送到昌邑王的住所。霍光自責道：“王的行為自絕於天，臣子等無能而膽怯，不能殺身以報恩德。臣子寧肯對不起王，不敢對不起國家。希望王能自愛，臣子今後長時期內不能再見到尊敬的王上了。”霍光流淚哭泣而去。眾大臣進奏說：“古代廢黜的人要棄逐到遠方，不讓他接觸朝政，請求把昌邑王賀遷徒到漢中郡房陵縣去。”皇太後詔令把劉賀送回昌邑，賜給他私邑二千戶。昌邑帶來的一批臣子因輔導不當，使王陷入邪惡，霍光把二百多人全殺了。這些人被推出執行死刑時，在市中號叫：“該決斷時不決斷，反而遭受他禍害。”
霍光坐在朝廷中間，會合丞相以下大臣討論決定立誰。廣陵王已經不用在前，還有燕刺王因謀反而被誅滅，他兒子不在討論範圍中。近親隻有衛太子的孫子號皇曾孫的在民間，大家都稱道他。霍光就跟丞相楊敞等上奏書說：“《禮記》說：‘人道愛自己的親人，所以尊崇祖先；尊崇祖先，所以敬重宗室。’大宗沒有子息，選擇宗支子孫中賢能的作為繼承人。孝武皇帝的曾孫病已，武帝在世時有詔命令掖庭養育照看，到今年十八歲了，從先王那裏受學《詩經》、《論語》、《孝經》，親自實行節儉，仁慈而能愛他人，可以嗣承孝昭皇帝之後，事奉祖宗之廟，愛萬姓如子。臣子冒死讓太後知情。”皇太後下詔說：“同意。”霍光派宗正劉德到尚冠裏曾孫家中，讓他沐浴以後賜給他皇帝之服，太仆用輕便車迎接曾孫到宗正府用齋，然後進未央宮見皇太後，受封為陽武侯。霍光捧上皇帝的璽和綬帶，進謁了高皇帝廟，這就是孝宣皇帝。