劉秀分析了一下赤眉軍的情況，了解到赤眉軍打仗個個英勇，但由於兵馬太多，糧食缺乏，他們不會久居長安。因此，隻有采取以逸待勞、以飽待饑、步步圍堵、不斷分化的方法。於是他派遣以善於治軍、作戰穩健的馮異率兵前去執行這一任務。臨行前，劉秀送給馮異一輛馬車、一口寶劍，囑咐他說：“長安一帶遭兵災，老百姓窮困到了極點。此次出征，如長安的敵軍肯降，你隻要把他們的頭子送到京城來就行了，士兵就讓他們回家種地、養蠶，千萬不要殺害。你這次再多帶些糧食，到時一定能用得上。”
果然不出漢光武帝所料，長安城已到了餓死人的地步，一斤黃金隻能換五升豆子。赤眉軍隻好東撤，到了澠池，同馮異軍隊相遇。馮異不負劉秀重托，迅速調整部署，以誘敵伏擊戰法奪得崤底之戰的勝利，迫降赤眉八萬餘人。赤眉餘部十多萬人倉皇東逃。
逃出來的赤眉軍扶老攜幼，繼續艱難東進。劉秀親自帶兵堵截，在宜陽與赤眉軍相遇。赤眉軍見漢軍壁壘森嚴、軍威雄壯，而他們將弱兵羸、又饑又餓，無心作戰，隻好派劉氏宗室劉恭代表赤眉軍向劉秀乞降。劉秀接受赤眉軍投降後，立即命令宜陽的縣令，把全縣的廚師集中起來，給十幾萬赤眉軍燒菜、煮飯，讓他們飽餐一頓。饑餓疲乏到極點的赤眉軍，受到這樣的待遇，自然對劉秀感激不盡。
第二天，劉秀讓軍隊列隊布陣，讓赤眉軍將領觀看，並對赤眉軍降將樊崇等人說：“你們投降了，後悔不後悔？如果後悔，朕可以讓你們回營，重新集合軍隊，再行決戰，朕絕不強求你們投降。”樊崇嚇得頭也不敢抬，徐宣則連連叩頭，說：“歸順皇上，早有此心，今日如願，如同嬰兒見了慈母一樣，隻有欣喜，沒有後悔的。”光武帝聽後哈哈大笑。風雲一時的赤眉起義軍從此也退出了曆史舞台。至此，劉秀取得了關中地區，實現了第二步戰略目標。
平定東部割據劉秀繼續著削平群雄、統一全國的戰略部署。這時，劉秀不論是在政治上還是在軍事上都占有比較大的優勢，他既有漢帝的名號，而且從劉盆子手中奪得了漢高祖劉邦留下的“高皇帝璽綬”的玉璽，又有強大的軍事力量，而且依靠河北，定都洛陽，控製中原之要衝。他根據當時各支割據勢力的地理位置及其力量強弱，製定了由近及遠、先東後西、逐個擊破的戰略方針。劉秀采納來歙的建議，聯隴製蜀，使漢軍得以偏師扼守關中，主力則用於對付東方。此時東方主要是劉永、龐萌、董憲、李憲等地方割據政權。
東線最大的割據勢力就是劉永武力集團。劉永是西漢梁孝王第八世孫。投靠更始帝後被封為梁王，更始政權覆滅之後，他在睢陽（今河南商丘市南）稱帝，又和西方的佼強兵團、東海的董憲兵團、更始舊將蘇茂聯兵割據，擁有濟陰、山陽、沛郡、楚郡、淮陽、汝南等地（今豫東、魯西、皖北、蘇北），兵據28城。劉秀於公元26年夏，命蓋延和馬武率軍征討，吳漢率大軍增援，在對劉永軍作戰中，吳漢身負重傷，但仍指揮大軍挫敗劉永，劉永引兵出逃，後來被手下將領所殺。直到公元29年，吳漢才徹底消滅劉永割據政權的殘餘勢力。
董憲是占據東海郡的割據勢力，其部將龐萌原是劉秀的手下將領。劉秀派吳漢率兵打敗董憲和龐萌，二人困守朐城（今江蘇連雲港西南），直到最後沒有了糧食才慌忙而逃，遭到琅琊太守陳俊的沉重打擊，吳漢占領朐城，平定了山東。
李憲占據淮南地方，公元28年秋，劉秀派揚武將軍馬成進攻李憲，包圍舒城，采取圍而不打的戰術，李憲也是因城中無糧而被迫出戰，結果被馬成打得大敗，江淮之地被平定。
盤踞在青州的張步兵團也是光武帝的一個勁敵。張步起兵琅琊，自稱五威將軍，稱霸齊地已有多年，他接受了劉永的封拜，督青、徐二州，屯兵劇縣（今山東壽光縣南），攻占了泰山、東萊、城陽、膠東、北海、濟南等地（今山東大部），拓地漸廣，兵甲日盛。公元29年，劉秀派大將耿弇為主帥，率軍進剿張步，很快平定了濟南郡，使張步的第一道防線全線崩潰。之後，耿弇以聲東擊西的戰術取得勝利，輕取臨淄城，可謂用兵如神。張步等人率十萬兵馬反撲臨淄與耿弇大軍進行了一場惡戰，戰鬥打得異常激烈，耿弇的大腿被流矢射中，血流如注，他仍以堅強的毅力忍住傷痛，揮刀砍斷箭杆，繼續迎敵，戰鬥一直持續到夜幕降臨，終於擊潰了張步主力。次日清晨，耿弇再度勒兵出戰。此時劉秀已親率大軍前往齊地，增援耿弇。耿弇率兵全線出擊張步殘部，張步潰逃，漢軍盡獲輜重。
幾天後，光武帝劉秀到達臨淄，慰勞將士，對耿弇大加讚賞。窮途末路的張步被劉秀以利勸降。耿弇占領平壽，進步陽城，降五校餘部，徹底平定青州之地。