劉秀稱帝後，雖然基本控製了中原要地，但是仍處於各種武裝勢力的包圍之中。劉秀根據形勢，采取了“先關東，後隴蜀”，先集中力量消滅對中原威脅最大的關東武裝勢力，再揮師西向的戰略決策，並針對割據勢力眾多而分散的特點，采取由近及遠、各個擊破的戰略方針。
建武二年（公元26年）春，劉秀命大將蓋延率軍5萬進擊直接威脅洛陽的劉永集團。於建武五年（公元29年）全殲劉永部於垂惠，從而消滅了關東地區的最大割據勢力，解除了對京師洛陽的最大威脅。漢軍在短短的四年中，將關東地區各個割據勢力全部鏟除。
在從事關東統一戰爭的同時，劉秀也展開了鎮壓赤眉農民起義軍的行動。早在綠林軍攻占洛陽的時候，赤眉軍的勢力也進入了中原地區。其首領不滿於更始政權所為，另立一幟，與以綠林軍為主體的更始政權相抗衡。建武元年（公元25年）九月，赤眉軍攻入長安，更始帝劉玄被殺。更始政權滅亡。劉秀為一舉撲滅赤眉軍，決定憑借崤函險道，以逸待勞，以飽待饑，對赤眉軍實施截擊。後劉秀親率大軍，與先期部署的侯進、耿弇部會合，攔截折向東南的赤眉軍餘部於宜陽，予以全殲，赤眉軍首領樊崇等十餘萬人投降。至此，劉秀終於將延續十年之久的赤眉農民起義扼殺在血泊之中。
劉秀在鎮壓赤眉軍，削平關東群雄之後，便西圖隴、蜀，統一全國。建武六年（公元30年）四月，劉秀正式發動伐隴之役。遣耿弇等7將分兵進攻隴坻，隗囂居高臨下，以逸待勞挫敗漢軍攻勢。於是劉秀暫時轉攻為守，命大司馬吳漢赴長安集結兵力，以資策應。同時爭取河西竇融出兵相助，使隗囂腹背受敵，並讓馬援煽動隗囂部屬及羌族酋長附漢。隗囂見處境危急，遂向公孫述稱臣，聯蜀抗漢。建武七年（公元31年）秋，隗囂得西蜀援兵後親率3萬大軍進攻安定，另派一部進攻汧縣，企圖奪取關中，但分別為漢軍馮異、祭遵部所擊敗。
隗囂的冒險出擊，造成了後方空虛，給劉秀造成乘虛蹈隙、直搗隴西的機會。建武九年（公元33年）正月，隗囂在憂憤交加中病死，部下立其次子隗純為王。劉秀采納來歙建議，再次發兵攻打隴西。到了次年十月，終於攻破落門，迫降隗純。曆時四年的隴西之戰宣告結束。最後，劉秀平定巴蜀，取得了統一戰爭的最後勝利。