早在衛青和霍去病是威風凜凜的將軍的時候，霍光就出生了，他是霍去病的弟弟，不同的是，霍去病是私生子，霍光是正牌子。
元朔四年（公元前119年），二十一歲的霍去病以驃騎將軍之職率兵出擊匈奴，在路過河東時，與他的生父相認，並且為父親購買了大片田地房產及奴婢。當時，霍光僅十多歲。在霍去病得勝回朝的時候也順便把霍光帶到了長安。
霍光小小年紀就跟隨驃騎將軍哥哥來到了皇宮中，皇權的威嚴讓他日漸成熟了，他的心中樹立起兩個天神——皇帝和哥哥，他們顯得那樣遙不可及，可他們又那樣真實地存在於霍光的眼中。重生的願望沐浴著少年霍光的靈魂。
他晚上數著天上的星星想著哥哥的英姿和教誨，到了白天，他從遠處看著皇帝，這個大漢朝最強大的男人。驃騎將軍再次出征了，霍光任郎官，後升為諸曹侍中，參謀軍事。
兄弟倆沒有想到，這樣相處的時光隻有短短兩年。
兩年之後，霍去病去世。
對於霍去病的去世，最為傷心的人是劉徹。
為了表達自己的哀思，劉徹厚待了他的兄弟。劉徹讓霍光做了他的奉車都尉，享受光祿大夫待遇，負責保衛自己的安全，所謂“出則奉車，入侍左右”。劉徹總是在想，這個少年身上或許有霍去病的影子。
即使是在死後，霍去病仍然勇猛神武地俯瞰著漢廷的每一個人，他仿佛成為一塊無法超越的豐碑。
少年霍光的身上承載著一種東西，心中這種源源不斷的前進動力讓他從來不吝惜自己對天命的想象力。
他變得更加沉穩和冷靜，劉徹也越發地信任他。錯綜複雜的宮廷鬥爭讓他的政治素質得到了徹底的曆練。雖然也有小狡黠，但他身上更多的是優秀的品質。
劉徹留給太子五個人，在這個班底中，霍光是最關鍵的人物。
本來作為首輔的人選，從個人品性上來說最讓劉徹放心的是金日。
金日，這個人竟然是一個匈奴人，劉徹對匈奴人的恨是眾所皆知的，但就在這樣的一種情況下，金日卻得到了劉徹的重用，可見劉徹的用人方略確實是不拘一格。
這個金日本是駐牧武威的匈奴休屠王太子，“金”是劉徹給他的賜姓。
大漢朝怎麼會有一個匈奴人，而這個匈奴人還得到劉徹這麼多的信任，甚至還要把漢朝的輔國大任交給他。
從元狩二年（公元前121年）開始，驃騎將軍霍去病兩次出兵攻擊匈奴，大獲全勝。在河西的匈奴休屠、昆邪二王及部屬四萬餘人降漢，休屠王被殺，年僅十四歲的金日和他的家人淪為漢朝的奴仆，被送到黃門署養馬。
也就從這個時候，金日大漢的政治生涯從這裏開始。
元狩二年（公元前121年）的春天，朝廷派遣驃騎將軍霍去病率領上萬名騎兵，出隴西，過焉支山千餘裏，切斷匈奴右臂，執渾邪王子，繳獲了休屠王的祭天金人。
到了夏天，祁連山的渾邪、休屠二王受到霍去病更沉重的打擊。
同年秋，匈奴單於因渾邪王數次被漢軍大敗，匈奴傷亡無數，怒不可遏。
匈奴單於的憤怒讓這兩個王害怕了。好死不如賴活著。渾邪王便說服休屠王共同降漢，想不到的是休屠王又中途反悔，渾邪王便殺了休屠王，其眾四萬餘人降漢。漢武帝封渾邪王為列侯。金日因父親被殺，無所依歸，便和母親閼氏、弟弟淪為漢朝的奴仆，被安置在黃門署養馬，這時候的金日僅十四歲。
劉徹愛馬這是人所共知的，有時候玩高興了，就會帶左右隨從去看看他的馬，一次在宮中剛吃飽喝足了，劉徹就又要去看馬。
當他看到一個體形魁偉、容貌威嚴、目不斜視的青年牽著膘肥體壯的駿馬從殿上走過時，感到很驚訝，在他的腦子裏沒有這號人啊。於是他就問起這個牽馬人的情況。當他得知金日為休屠王之子後，就讓他當了馬監。之後升遷為侍中、駙馬都尉、光祿大夫。由於他孝敬母親，做事小心謹慎，從不越軌行事，深受劉徹信任，成為親近侍臣。
但即便如此，劉徹也不會信任到把輔國重任交在他手上，但自從發生了這樣一件事情之後，劉徹認識到這個人真的是個能用之人。
金日有兩個兒子，劉徹很喜歡這兩個虎頭虎腦的小家夥，時常把他們留在身邊嬉戲，但是其中有一個大兒子越加放肆，有一次竟然公然調戲宮女。金日一看火了，立刻親手殺了自己的親兒子。
事情本不應該處理的這麼火暴，劉徹心想，原來不是光我一個人殺兒子啊。劉徹從金日的這件事情當中看出了一點端倪，日後對他更加敬重。金日是一個匈奴人這碼子事早就讓劉徹忘記了。
假如說劉徹這個時候對金日的原籍還有一點顧忌的話，那麼後來發生的這一件事情讓劉徹對金日完全放下了防備。