這真是一個戲劇性的大變化，換了是誰也有點適應不過來。
可是，他也十分清楚以霍光為首的滿朝文武隻不過是在利用他取得官位和富貴，自己暫時還隻是他們手中的橡皮圖章而已，如果辦事違背他們的意願是會自取禍端的。
李賀的被廢就是前車之鑒，自己要千萬小心。
由於當時霍光是輔政大臣，再加上他有帶頭擁立漢宣帝之功，所以當時霍光在朝中是威勢赫赫，無人能比。
不僅霍光權傾朝野之外，他的兒子霍禹、侄孫霍雲還是統率宮衛郎官的中郎將。
霍雲的弟弟霍山官任奉車都尉侍中，統率禁衛部隊胡越騎兵；兩個女婿分別擔任東宮和西宮的衛尉，掌管整個皇宮的警衛；堂兄弟、親戚也都擔任了朝廷的重要職位。
不管是中央還是部隊都被霍光安插了不少親信，他把黨政軍大權牢牢抓在了手裏。
漢宣帝的所有權力都被架空，霍光反而成了實際上的皇帝，形式非常嚴峻。
當漢宣帝還在農村放牛時，就已經從老百姓口中知道了輔政大臣霍光的獨斷專橫、飛揚跋扈，根本沒有把當時的小皇帝放在眼裏。
現在他一繼位，就領教了朝廷內部來自霍光集團鋒芒畢露的空前壓力。
在他登基之日謁見“高廟”時，霍光陪同他乘車前往。
一路上，霍光板著麵孔，其餘百官對他恭恭敬敬；一切命令都從霍光口中下達，霍光是一呼百應，呼風喚雨，根本沒有人把他這個皇帝當回事。
當時他覺得渾身上下都不自在，如“芒刺在背”。
麵對這種情況，宣帝心中頓時涼了半截，他心想：漢家天下危在旦夕啊！我現在隻是霍光手中的一個木頭人，我是一個木頭人，不會說話不許動。這樣下去怎麼得了，我必須徹底鏟除霍光和他的的一切勢力。
但是童年的一係列不幸經曆使他深深明白：自己目前還沒有什麼勢力，還鬥不過霍光，霍光這棵大樹是盤根錯節、根深葉茂，朝野上下都是霍光的勢力，如果現在動手，無疑是拿雞蛋去碰石頭。
他要做一名野狼，在草叢裏隱忍不發，等待轉機，抓住戰機，然後猛撲上去，一咬斷喉，一招製敵。總有一天，他要做一名堂堂正正的大漢皇帝。
漢宣帝繼位沒兩天，霍光就假惺惺表示要還政於他。
可是，宣帝並不是傻子，他明白這隻是霍光的一次試探。所以他說：輔政大臣霍光對朝廷忠心耿耿、勞苦功高，尤其是在這次擁立皇帝上麵更是立下不世功勳，所以是當今朝廷不可多得的人才。
由於我年紀輕，經驗少，水平低，所以今後朝中一切大事必須報經霍光批準。
我要向霍老前輩好好學習治國方略，封他為七千戶。
並特許他讚拜不名、入朝不趨、劍履上殿，給了他很高的禮遇。
霍光經過試探，懸著的心一下子放了下來。
他想：看來，新皇帝還是有良心的，對我還是蠻好的，畢竟是我帶頭擁立他的嗎？現在把黨政軍大權都給我，還封了七千戶，說明他很重用我，哈哈！我目前是朝廷最倚重的三朝元老，誰又能奈我何？
由於漢宣帝的韜光養晦、鋒芒不漏，使他避免了被廢的局麵。這一點，他比李賀要聰明得多。
但是，他知道自己還要想辦法在群臣麵前樹立威信，他在等待一個機會。
不久，機會終於來了。因為，機會總是垂青有準備的人。
公元前七二年五月
，漢宣帝決定為武帝立廟，由於當時昭帝未為武帝立廟，因此宣帝以為武帝立廟的方式來宣示自己才是武帝的嫡係遺脈，而昭帝隻是以庶子身份即位，自己的繼位是天經地義並且合情、合理、合法。
通過為武帝立廟他可以提高自己的個人威信，而且也是盡一盡做晚輩的孝心，霍光雖然知道漢宣帝的用意，但是礙於孝道有不好開口阻止。
偏偏有個大臣夏侯勝反對立廟，漢宣帝立馬以大逆不道將他逮捕下獄，殺頭謝罪並屠滅三族，玩了個殺雞駭猴，進一步樹立了自己的個人權威。
那些大臣們一看這個宣帝平時溫文爾雅、沉默不語，卻在這個事情上毫不留情、痛下殺手，覺得這個宣帝不簡單，真不是個省油燈，以後就不敢和他叫板了。
實際上，這個事情漢宣帝既表達了對先帝的孝心，又標榜了自己的正統嫡孫的身份，並確立了在朝廷上的威信，收到了“一石三鳥”的效果。令滿朝文武對宣帝刮目相看。
公元前68年，霍光去世。
他死後可以說是極盡哀榮。
宣帝按皇家最高級別給他舉辦了風風光光的葬禮，親自為他書寫挽幛並召開追悼會，讓人們緬懷他的偉大功績。為了安撫霍光家人，加封霍光的侄孫霍山為樂平侯。
此後，漢宣帝開始親理朝政。
他趕快著手在朝中要害部位安插自己的人，提拔親信大臣禦史大夫魏相為給事中，後來又提拔魏相做了丞相。
他又任命自己的恩人邴吉為禦史大夫，委以他的嶽父平恩侯許廣漢以重任。
通過這樣一番折騰，漢宣帝的手裏抓到了許多權力，但是還遠遠不夠。
漢宣帝知道：要想當一個真皇帝，必須徹底鏟除霍家的殘餘勢力，但是下手還不能太急，得慢慢來，要一小刀一小刀割。
如果逼人太甚，霍家難免會狗急跳牆，到了那個時候就不好辦了。
於是，他先解除了霍光兩女婿東宮、西宮衛尉的職務，把首都警衛部隊控製住自己手中。
然後，他把霍光的兩個侄女婿調離了中郎將和騎都尉的位置，讓自己的親信擔任，把兵權收了回來。
他又提拔霍光的兒子霍禹為大司馬，實際上是明升暗降，剝奪了他的兵權。
他還對上書製度進行了改革，下令吏民上書，直接呈皇帝審閱，不必經過尚書，把霍山、霍雲的尚書職務架空起來。
通過漢宣帝的一係列鐵腕手段，他終於把黨政軍大權完全掌握在自己手中。
但是，霍家的殘餘勢力不甘心退出曆史舞台，他們還要做最後掙紮，也不管自己有多大力量，竟然糾集了一些社會渣滓發動了武裝起義。