霍光做到了傳說中的上古賢臣伊尹做過的事，廢掉了無道昏君。其間的傳說很多，真假難辨。然而有一件事可以肯定，那就是霍光已然徹底掌握了國家的權柄。他無疑有功於漢室，沒有他很難說漢王朝在幾代昏君幼主的統治下還能支持多久。然而當他去世後，他一手建立起的霍氏家族也就此走到了盡頭。
昭帝駕崩
漢昭帝在位13年，霍光不隻擁有軍政大權，甚至將權柄伸到了宮內。昭帝的身體一直不好，霍光希望自己的外孫女上官皇後獲得寵幸，為漢昭帝生下獨子。於是他命令宮女必須穿“窮絝”，以前的褲子都是分左右兩片，中間不連襠，“窮絝”就是連襠褲。這樣是為了讓昭帝不容易親近宮女。
昭帝元鳳四年（前77），18歲的昭帝提前舉行了冠禮，宣告成人，大將軍霍光率領群臣祝賀。舉行冠禮就表示已經成年，但是昭帝仍然拒不親政，要求霍光繼續代行國政。就在昭帝舉行完冠禮時，丞相田千秋去世了，由禦史大夫王訢繼任丞相，一年後也去世了，這樣禦史大夫楊敞便成為新的丞相。
昭帝元平元年（前74），21歲的漢昭帝因病去世。此時的上官皇後隻有15歲，昭帝沒有留下子嗣。此時，擺在霍光和眾位大臣麵前最迫切的問題是由誰繼承皇位。
漢武帝的6個兒子中，如今隻有廣陵王劉胥尚在。大臣們紛紛表示按輩分和長幼之序，廣陵王劉胥應該繼承皇位。然而霍光並不滿意，廣陵王劉胥年輕的時候，漢武帝便認為他不適合繼承皇位。如今長大後，行為更為荒唐，這樣的人不適合繼承皇位。
這時有個郎官上書，反對廣陵王劉胥道：“昔太王廢太伯，立王秀；文王舍伯邑考，立武王，無非在所托得人，不必拘泥長幼。廣陵王為人所不道，故孝武皇帝不使承統，如今怎能繼承宗廟呢？”
霍光看到這名郎官的上書後大喜，將這封上書交給了丞相楊敞，並將上書的郎官升為九江太守。隨後，以太後的名義，派遣大鴻臚寺少府史樂成、宗正劉德、光祿大夫丙吉、中郎上將利漢，迎接昌邑王劉賀來長安，繼承皇位。
昌邑王劉賀是漢武帝之孫，武帝駕崩時沒有皇後，但是曾和李夫人配饗。李夫人便是劉賀的祖母，霍光認為他可以作為正統繼承皇位。況且昌邑王劉賀是昭帝侄子，以侄繼承叔大業，正好可以作為繼子。
然而，這位昌邑王劉賀卻並非賢明之人，其荒唐之舉比比皆是。他的臉色鐵青，鷹鉤鼻，小眼睛，雖然身材高大，但是腿上有毛病，走路不便。其居國10餘年，狂縱無度，喜歡田獵。身邊的臣子也多是阿諛奉承之徒，隻會迎合劉賀，甚至帶他進歧途。隻有中尉王吉和郎中令龔遂時常批評規勸劉賀，但是用處也不大。
中尉王吉負責王國的軍事和治安，他常常見到劉賀遊玩，便對劉賀道：“大王不喜歡讀書，隻喜歡遊玩田獵，甚至玩耍起來連自己的生命都不顧惜。這樣不但會損害自身，更不合仁義之道。大王若勤奮讀書，講習治國之法，這樣必然美名傳天下，天子也會更加看重大王。如今您經常辦錯事情，被天子知道，就有危險了。”
劉賀聽了王吉的話，滿臉慚愧道：“卿所言極是，我定會改過自新。您忠心可嘉，賞賜牛肉500斤。”
然而隻過了數日，劉賀便遊玩如初，不再學習了。王吉雖然屢次勸諫，但效果甚微。
龔遂說話更直接一些，當麵指責劉賀時，常常將其羞辱得麵紅耳赤。有一次龔遂數落劉賀的過錯，劉賀聽不下去了，就站起身來，捂著耳朵跑了，一邊跑一邊喊道：“郎中令真會羞辱人。”
後來，龔遂又勸諫劉賀少親近阿諛奉承的小人，多親近賢明之人。於是選了10個有德之人，作為劉賀的侍從。但是沒多久，這些人都被劉賀趕跑了。
劉賀做夢也不會想到皇位會落到自己的頭上。霍光派遣的使臣到達昌邑的時候，正是半夜時分，劉賀正在睡覺。事關重大，劉賀被人從睡夢中叫醒了。使者團的名義是要求劉賀到長安主持昭帝的葬禮，意思就是請劉賀進長安繼承皇位。劉賀接到霍光的書信，簡直不敢相信，確定屬實後，高興得手舞足蹈。
時間緊急，第二天劉賀便和使臣們動身去往長安。王吉見劉賀喜形於色，忙跪下進諫道：“大王去長安主持先帝葬禮，應該顯出一副悲哀之狀，切不可妄自行事。大將軍霍光享譽滿朝，一定要尊降他，政務都要請大將軍處置，大王一定要留心。”
劉賀哪裏還有心思聽王吉的話，早就不耐煩了。到了中午便起程出發，路上馬不停蹄，隻希望早點到長安。隻用了兩三個時辰就到了定陶，趕了135裏路，侍從的馬匹接連累死在了路上。郎中令龔遂忙進諫劉賀，劉賀這才令郎官、謁者50多人返回昌邑。
這一路上並不消停，到了濟陽，劉賀命人尋求鳴叫聲很長的雞，路上買合竹杖。到了弘農時，更加不像話，讓身材高大的奴仆用裝載衣物的車子裝載搶來的女子。這件事很快就被別人知道了，到了湖縣，使者就此事責備昌邑相安樂，安樂將這事告訴了龔遂。龔遂隻好去問劉賀到底怎麼回事，劉賀斬釘截鐵道：“斷無此事。”龔遂聞言道：“既然沒有此事，為何舍不得一個奴婢，讓他敗壞名聲呢？請將他交給法官處置，來洗刷大王。”說著就揪住了此人將之交給衛士長處置。
劉賀一行人到達灞上時，大鴻臚已經在郊外迎接了，主管車馬的騶官奉上皇帝乘坐的車子。劉賀令他的仆從壽成駕車，郎中令龔遂同車參乘。走到了光明東都門，龔遂說：“按禮製，奔喪望見國都就要哭。這已是長安的東郭門。”劉賀說：“我咽喉痛，不能哭。”到了城門，龔遂又說此事，劉賀說：“城門和郭門一樣的。”將到未央宮的東門，龔遂說：“昌邑國的吊喪帳篷在這個門外的大路北，不到吊喪帳篷的地方，有南北方向的人行道，離這裏不到幾步，大王應該下車，向著宮門麵向西匍匐，哭至盡情哀傷為止。”劉賀這次同意了。
公元前74年，六月初一，劉賀按照禮儀完成了哭喪，並接受了皇帝印璽和綬帶，成為大漢王朝新任皇帝，尊上官皇後為皇太後，並嗣漢昭帝，算是漢昭帝的嗣子。
可立便可廢
劉賀繼位是霍光一手安排的，但是劉賀登基稱帝之後的表現則令霍光在內的眾人大跌眼鏡。劉賀不敢怠慢霍光，但也隻是對他敬而遠之。
尚在昭帝喪禮期間，劉賀便絲毫不顧禮節肆意淫亂。按照規定，昭帝喪禮期間不準玩樂。但劉賀不管這些，依舊命人將宮中所有樂器搬了出來，讓每人手持一件，排列在宮內大道兩旁，肆意彈奏，聲響震天，熱鬧非凡。皇宮玩夠了就駕著車子到上林苑中嬉戲遊樂。本來還規定，喪禮期間一律吃素，劉賀不滿素菜素飯，便召來太宮，命他按平日裏皇帝的飲食規格弄來。太宮害怕違背禮法，不敢應承。劉賀便命自己人到宮外大肆購買山珍海味，帶回宮中，大肆宴飲。
非但如此，劉賀還將原來與之玩樂和奉承他的人從昌邑召來，封賞他們高官厚祿。並且讓這些人拿著旄節下命令給各官署征調並索取物資，短短20多天內，竟有1200次。
文學光祿大夫夏侯勝、侍中傅嘉等多次進諫，規勸過失，劉賀竟派人按簿冊責問夏侯勝，又把傅嘉捆起來關進監獄。大臣張敞看不過劉賀荒淫無道，喪失帝王禮義，攪亂朝廷製度，多次上書規勸道：“昭帝過世，並無子嗣，群臣心憂，一心想選一位賢明之主繼承大業。車駕東迎之日，陛下唯恐行程太慢，頗為失禮。如今陛下正值壯年，剛剛繼位，天下人無不側目以視，急切想知道陛下何以治國。如今定策之臣尚未褒獎，陛下隨臣卻得升遷，未免令人心寒……”
霍光對劉賀的所作所為更是非常不滿，見到這封上書後，對左右道：“張敞所言有理，可遷為豫州刺史。”
大司農田延年曾在霍光幕府任職，深受霍光信任，於是召田延年前來商討。霍光對田延年道：“新君沒有為君之象，肆意踐踏禮法，此事該如何是好？”
田延年道：“將軍是國家的柱石，既然已知此人難以肩負重任，為什麼不稟明太後，另選賢德為帝呢？”
霍光道：“如今正想這麼辦，不知古時有這樣的事情嗎？”
田延年道：“伊尹在商朝為相，廢掉了商王太甲，國家才得以安定，後世都稱讚其忠心。將軍能做事，便是漢朝的伊尹了。”
霍光聽從了田延年的話，心中有底，遂加封田延年為給事中，並派遣他去征求丞相楊敞的意見，自己則召來車騎將軍張安世商量對策。
張安世是西漢著名酷吏張湯之子，武帝時為尚書令，漢昭帝時被封為右將軍，因輔佐有功，被封為富平侯。他素來和霍光交好，對霍光言聽計從，自然不會反對。楊敞雖為丞相，但是軍政大權都在霍光手中，從來不違背霍光的意思。得知是霍光的授意後，便表示定當配合。
霍光獲得了張安世、楊敞、田延年等人的配合，便召集丞相、禦史、將軍、中二千石、大夫、博士等大臣到未央宮中商議此事。眾人隻見霍光緊鎖眉頭，不知何事。隻聽霍光道：“昌邑王行為混亂，恐將危害國家，該如何是好？”
大臣們聽完霍光的話麵麵相覷，都愣住了，不知該如何是好。霍光沒有稱天子為陛下，而是將之稱之為“昌邑王”，看來是已經有了廢帝之心。眾人都聽出了這層意思，所以才驚慌失措。
此時，田延年站起身來，走向前去，手按長劍道：“孝武皇帝將昭帝托付將軍，亦將天下托付於將軍，皆因將軍是忠賢之人，能安劉氏天下。如今昌邑王行為不謹，如同煮沸之水般不安，這樣下去，國家將危。況且漢室皇帝諡號都有個孝字，意味使子孫能永保天下，使祖宗能長享祭祀。如果漢室絕嗣，將軍雖死，何顏見先帝？今日之論，不容猶豫，應從速解決。大臣中誰答應晚了，我就將其斬於劍下。”