與此同時，曾國藩所率水師在靖港打了敗仗。
原先曾國藩根據情報，以為靖港石祥楨部隻有幾百將士，而且未作戒備，可以一舉成功，就帶了戰船四十號，兵丁八百前往，向靖港駛進，在接近西征軍營地時，望樓上哨兵就發現了，守軍開炮轟擊。這時正好風高浪急，湘軍水師逆風行船，速度緩慢，曾國藩求勝心切，派遣勇丁上岸牽纖。石祥楨遣將士殺盡牽纖者，又命兩百多隻小劃子順風而上，攻擊敵船，乘風縱火，火順風勢，風助火威，敵船紛紛起火。湘軍陸師聞訊水師失利，會同團丁前來援救，石祥楨引軍反擊，團丁不戰逃命，牽動陸師潰退，爭渡浮橋，橋塌，溺死百餘人。曾國藩見危急狀，親自仗劍督陣，命令立令旗於岸上：“過旗者斬。”但團丁不聽，都繞過令旗奔逃。曾國藩自領的湘軍水陸師全敗，輜重船艘盡毀。他頓足捶胸，羞憤之至，逃到靖港對岸銅官渚投水自盡；投了水被救起來後，又投了水，也有說當時曾國藩先後共投了三次水想自盡。在救回到長沙妙高峰時，他想起兵敗之慘，又想尋死，連夜寫了遺疏和遺囑二千言。正在痛苦絕望的時候，忽然從湘潭前線傳來塔齊布等大捷的喜訊，方才取消尋死的念頭。
太平軍靖港之戰隻是小勝。湘軍水師雖敗，但由於左宗棠讚畫湖南巡撫駱秉章幕，於人力物力不斷充實，致使湘軍水師重新獲得配備，士氣振奮。
1854年6月，曾國藩指揮水陸師二萬餘人北上進攻嶽州。
秋官又正丞相曾天養由常德趕回嶽州組織反攻。湘潭慘敗，元氣大喪，太平軍水陸都敗，曾天養退出嶽州，在城陵磯繼續阻擊湘軍北上。
曾天養再次組織水陸軍反攻，仍失敗。
幾天後，曾天養得到湖北援軍，第三次組織反攻，卻因湘軍守備楊載福乘風縱火，又遭失敗。
湘軍水陸師乘勝前進。此時南風大作，水師船隊行駛飛速，直至城陵磯。
曾天養雖屢戰屢敗，仍豪氣不衰，他見湘軍驕傲輕敵，先以偏師誘敵，而主力潛伏在旋湖港，敵人中計追擊前來，遊擊沙鎮邦領頭隊，總兵陳輝龍率二隊，船大體重，被誘進淺灘擱淺起來，正是進退兩難。曾天養就指揮伏船出擊，全部、徹底殲滅陳輝龍、沙鎮邦所帶的水師船隻。水師總統、知府褚汝航、同知夏鑾聞警來救，也因陷入重圍，被一一打死。曾國藩湘軍水師開始裝備就很精銳，配備有從澳門向葡萄牙購置的大炮，水師將士也是經過挑選，現在僅在一天戰鬥中就都斃命，曾國藩又是傷心極了。
兩天後，曾天養率軍三千從城陵磯登岸，打算安寨紮營，忽見南麵煙塵大起，原來是破格擢升的新授署湖南提督塔齊布率領的湘軍陸師趕到。曾天養來不及布陣調遣兵將，竟然跨上黑馬，手執長矛，直衝塔齊布而來；塔齊布來不及遮擋，被一矛刺中坐馬，準備抽矛再刺，不料塔齊布親兵黃明魁急以長矛反刺，曾天養來不及轉身，被一矛刺中，跌於馬下，慘遭殺害。
曾天養之死是西征太平軍一大損失，太平天國從來宣揚人死是“升天”，不能哭，不能做喪事，但對曾天養之死卻破例，兩湖太平軍連續吃素六日，以悼念他。曾國藩也因率湘軍出境時吃過曾天養的虧，此後牢記不忘。後來還幾次與被俘的李秀成談及說，“其人是一好手，資格最深。”
陳玉成率五百將士，從梁子湖轉武昌城東，縋城而上，遍插黃旗，守軍驚散。
西征軍由南昌撤回後，由胡以晃率領的部隊攻占了安徽廬州，另支由國宗韋誌俊、石祥楨等率領西進湖北。
1853年10月1日，西征軍進入湖北，占領長江北岸的武穴（廣濟），即溯江西上，打響了第二次攻打武漢的炮聲。十七歲的左四軍正典聖糧、職同監軍陳玉成也別領一軍，占領了漕河。
這年陳玉成剛由牌尾（童子兵）脫籍，成為正式的牌麵。他年過十六，身材不過中人，容貌秀美、瀟灑，頗見虎虎生氣。據說他兩眼下長有黑痣；也有說是小時候患有眼疾，用草艾熏眼夾，以致愈後在眼下留有疤痕，因而鄉人謔呼為“四眼狗”。此後，這個渾號也為敵方借用，作為誣罵陳玉成的代名詞了。
西征軍勢如砍竹，年底占領了鄂東重鎮黃州（黃岡）。
湖廣總督吳文鎔是曾國藩坐師，資格頗深，亦很有官場閱曆，但畢竟是儒門中人，不會帶兵領將，他率領的軍隊紀律鬆懈，也無力約束。時值天寒地凍，將士就駐地堵城附近村莊，拆毀民房，掠取燃料，用作兵營生火取暖，民眾被迫流離失所、無家可歸，怨聲載道。也有民眾投奔了太平軍，或為太平軍通風報信，傳遞清軍活動。
吳文鎔也在注意黃州太平軍動態。
這天，吳文鎔獲得消息，說是黃州城裏的太平軍將士正熱烈地歡度天曆春節，毫無戒備。