劉秀起義後，逐漸與當地的其他起義軍彙合，一度並入綠林軍。公元23年2月，綠林軍為了號召天下，立劉秀的族兄劉玄為帝，年號更始，綠林軍的勢力得到了迅猛的發展，以至王莽“一日三驚”。王莽糾集新朝主力約四十二萬人，號稱百萬，派大司空王邑、大司徒王尋為師，直撲綠林軍。
劉秀等人放棄陽關，率部退守昆陽。昆陽守軍隻有八九千人，敵人則連營百裏，勢力太過懸殊。有些人主張分散撤出，劉秀堅決反對，認為如果並力禦敵，尚有保全的希望，如果分散突圍，必被包圍消滅。他親自率領十三騎趁夜突出南門求救，他說服了定陵、郾城等地的起義軍，親率精兵數千人偷渡昆水，突襲敵人，使敵人手忙腳亂、陣腳不穩，終至大敗。
昆陽之戰是中國軍事史上以少勝多的光輝範例，也為起義軍推翻新莽政權奠定了基礎。自打敗了王邑、王尋的軍隊以後，劉秀兄弟的威名日盛，這就遭到另一派起義軍將領的嫉妒，加上劉□當初曾反對立劉玄為帝，這些人正好借此進讒，說劉□不除，終為後患。劉玄懦弱無能，並無主張，便聽了人言，準備伺機發難。劉秀借犒軍之機，大會群將，製造借口，但不久起義軍內部發生了分裂，哥哥劉□被殺。
劉秀當時正在父城，聽到哥哥被殺，十分悲痛，大哭了一場，立即動身來到宛城，見了劉玄，並不多說話，隻講自己的過失。劉玄問起宛城的守城情況，劉秀歸功於諸將，一點兒也不自誇自傲。回到住處，逢人吊問，也絕口不提哥哥被殺的事。既不穿孝，也照常吃飯，與平時一樣，毫無改變。劉玄見他如此，反覺得有些慚愧，從此對他更加信任，並拜他為破虜大將軍，封武信侯。
其實劉秀因為兄長被殺而萬分悲痛，此後數年想起還經常流淚歎息。但當時他知道自己尚無力與平林、新市兩股起義軍的力量抗衡，所以隱忍不發。劉秀的這次隱忍，既保全了自己，又在起義軍中贏得了同情和信賴，為他日後自立創造了一定條件。
等到起義軍殺了王莽，迎接劉玄進入洛陽，劉玄的其他官屬都戴著布做的帽子，形狀滑稽可笑，洛陽沿途的人見了，莫不暗暗發笑。唯有司隸校尉劉秀的僚屬，都著漢朝裝束，人們見了，都喜悅地說：“不圖今日複見漢官威儀。”於是，人心皆歸劉秀。
劉玄定都洛陽以後，便欲派一位親近而又有能力的大臣去安撫河北一帶。劉秀看到這是一個發展個人力量的大好機會，便托人往說劉玄。劉玄同意了這個請求，劉秀就以更始政權大司馬的身份前往河北，開始了擴張個人勢力、建立東漢政權的準備活動。
當時的河北有三股勢力：最大的是王郎，他自稱是劉邦的後代，號召力很強；其次是王莽的殘餘勢力；再次是銅馬、青犢等農民起義軍。劉秀在河北每到一地，必接見官吏，平反冤獄，廢除王莽的苛政，恢複漢朝的製度，釋放囚犯，慰問饑民。所做之事，均都順應民心，官民因此而喜悅。
當時，有一個叫劉林的人向他獻計說：“現在赤眉軍在黃河以東，如果決河灌赤眉，那麼百萬人都會成為魚鱉了。”劉秀認為這樣太過殘忍，定會失去民心，就沒有采納。劉秀初到河北之時，兵少將寡，地方上各自為政，無人聽他指揮，雖能“延攬英雄，務悅民心，立高祖之業”，但畢竟沒有大量軍隊。他為王郎所追捕，曾多次陷入窘境。後來，他逐漸延攬了鄧禹、馮異、寇恂、姚期、耿純等人才，又假借當地起義軍的名義招集人馬，壯大聲勢，並聯合信都、上穀、漁陽等地的官僚集團，這才算站住了腳。由於他實行“柔道”政策，服人以德不以威，眾人一旦歸心，就較為穩定。
劉秀認為“柔能製剛，弱能製強”，他多以寬柔的“德政”去收攬軍心，很少以刑殺立威，這一點，在收編銅馬起義軍將士時表現得最為突出。當時，銅馬起義軍投降了劉秀，劉秀就“封其渠帥為列侯”，但劉秀的漢軍將士對起義軍很不放心，認為他們既屬當地民眾，又遭攻打殺掠，恐怕不易歸心。銅馬起義軍的將士也很不安，害怕因不能得到漢軍的信任而被殺害。在這種情況下，劉秀竟令漢軍各自歸營，自己一個人騎馬來到銅馬軍營，幫他們一起操練軍士。銅馬將士議論說：“肖王（劉秀）如此推心置腹地相信我們，我們怎能不為他效命呢？”劉秀直到把軍士操練好，才把他們分到各營。銅馬義軍受到劉秀的如此信任，就都親切地稱他為“銅馬帝”。
在消滅王郎以後，軍士從王郎處收得了許多議論劉秀的書信，如果究查起來，會引起一大批人逃跑或者造反。劉秀根本連看都不看，命令當眾燒掉，真正起到了“令反側子自安”的效果，使那些惴惴不安的人下定決心跟劉秀到底。
公元25年，劉秀勢力已十分強大，又有同學自關中捧《赤伏符》來見，說劉秀稱帝是“上天之命”，劉秀便在諸將的一再請求下稱帝，年號建武。稱帝之後，便和原來的農民起義軍爭奪天下，此時，他仍貫徹以柔道治天下的思想，這對他迅速取得勝利起到了很大的作用。
劉秀輕取洛陽就是運用這一思想的成功範例。當時，洛陽城池堅固，李軼、朱鮪擁兵三十萬。劉秀先用離間計，讓朱鮪刺殺了李軼，後又派人勸說朱鮪投降。但朱鮪因參與過謀殺劉秀哥哥的事，害怕劉秀複仇，猶豫不決。劉秀知道後，立即派人告訴他說：“舉大事者不忌小怨，朱鮪若能投降，不僅決不加誅，還會保其現在的爵位，並對河盟誓，決不食言。”