後來當霍光病逝之後，大漢皇帝與太後更是一同到場治喪，將霍光以皇帝級別的葬儀葬於茂陵。
但無論如何，霍光是一名很有能力的權臣，把偌大的漢帝國管理的井井有條。單論管理國家和政治鬥爭的能力，霍邯覺得霍光隻怕是不弱於自己。
對於這樣一個很有才幹的表兄，當年在大漢的時候，霍邯就很小心的處置他。給霍光安排了一些地方上的重要職務，讓他可以發揮才幹但又不能在大漢中央造成影響。
但是金子總會發光的，霍光在地方上擔任父母官，的確是做得好。所以許多官員都上書為霍光說好話，包括皇帝劉據在內的不少人都以為替霍光說好話，可以讓霍邯高興。
見諸多官員舉薦，皇帝也透露出意思說希望能把霍光調到中央任職，霍邯也不好再繼續打壓自己的親戚，隻好把霍光調到了中央任光祿大夫。
後來霍邯離開大漢中央，霍家需要一名有才能的人接替霍邯，維持霍家這個大家族在大漢中央的話語權。
思來想去，霍邯也隻能推薦霍光了。
那個時候，霍邯算是體會到了曹操的無奈了。
曹操看出了司馬懿是個危險人物，卻還是要讓司馬懿繼續在魏國做事。霍邯也同樣看出了霍光是個危險人物，卻又隻能讓霍光來接替自己。
霍邯在大漢中央的權力很大，但霍邯隻把其中的一小部分移交給了霍光，就是為了防止霍光專權。雖然霍光專權可以讓霍家更輝煌，但也會使輝煌背後的陰影更加沉重。
畢竟現成的曆史擺在那裏，曆史上的霍光權傾天下，但死後兩年，霍家便慘遭滅族。
即使是為了自己的家族著想，霍邯也不希望霍光的權力太大。
除了隻移交一部分權力給霍光來限製他之外，霍邯還以一個朋友的身份，告誡了皇帝劉據：“霍光是一個非常有才幹的人，有什麼事情搞不定可以讓他去做。但當他做好之後，不要過於賞賜他，並打壓他的仕途。這個人很強勢，你不一定能掌握的了他，所以你不定不要給他太大的權威。”
臨走之時這樣一說，算是霍邯坑了霍光一把。果然，霍光雖然接替霍邯，成為了霍家在朝堂的代表，卻一直仕途多有不順。
劉據堅定執行霍邯的忠告：重用霍光，但用了又不賞！經常讓霍光去做一件事，做到基本搞定的時候，卻派另一個人接替霍光，從而奪走霍光的功勞。
有巴結霍家或者看不下去霍光所受不公待遇的官員進言，但劉據依然不改變什麼，可能這正是霍光來到這裏的原因吧。
思索之中，霍邯和霍光見了麵，霍光對著霍邯一拜：“草民霍光，拜見大將軍！”
原來霍光已經辭去所有官職。
霍光和自己同輩而年長不少，霍邯可受不住自己表兄的這一拜，趕緊把他扶起來，霍邯微笑著問道：“二兄，你怎麼來了？”