石鎮侖覺得這個想法很好，便自領一萬多人從長江上登陸，走陸路去打長沙。韋誌俊親率一軍冒雨登上城陵磯，安營紮寨作打嶽州準備。兩天後雨過天晴，塔齊布帶兵主動來攻，都司諸殿元、千總劉士宜敢於玩命，一下帶兵衝進太平軍營壘，大殺一陣。
韋誌俊組織反攻陣斬諸殿元、劉士宜及衝進來的清兵。湘軍後續部隊放射火箭采取火攻，太平軍營壘衣服盡燃，潰不成軍，損失慘重，更談不上去攻打嶽州。
石鎮侖一軍名義上說是去打長沙，可是連長沙城的影子都沒有看到。駐軍在高橋小鎮周圍時，就難以向前邁進。前麵鳳凰山上湘軍設有炮陣，知府羅澤南、經曆李續賓也是湘軍悍將，誓與陣地共存亡。加之又有先進武器，打得石鎮侖損兵折將。
以後又有幾次戰鬥都是湘軍占了便宜，石鎮侖一軍損失過半連高橋也守不住了，隻好一路北撤，與韋誌俊合兵一處，才避免全軍覆沒。
韋誌俊、石鎮侖聯手進攻也遭失敗，隻得退守城陵磯紮營十三座，待機行事，仍然有搶奪嶽州的企圖。曾國藩覺得韋誌俊全力集中陸路，水師必然薄弱，於是命令楊載福、肖捷三帶船隊打垮了征湘軍水師。
現在嶽州所有威脅都隻在於城陵磯十三營，曾國藩發出動員令：“韋誌俊、石鎮侖一天賴在城陵磯不走，我嶽州就一天不得安寧。臥榻之側豈容他人酣睡？收複城陵磯，滌生就拜托各位了！”
一八五四年八月二十五日，大雨如注，東南風猛吹，太平軍駐紮城陵磯的十三個營壘，在風雨之中晃蕩搖曳，好像預示著他們根基不穩。這個鬼天氣本身就給人心神不定，壓抑不安的感覺。
韋誌俊似乎有先見之明，他不安地對陳玉成說道：“如果在這種天氣下，湘軍突然向我發起攻擊，那我們就毫無還手之力。我隻希望湘軍呆在屋裏躲風雨。”
陳玉成也憂心難免：“是啊！我們的武器比湘軍落後，大炮一遇風雨就打不響。湘勇一個個都是亡命徒，如果殺來我們沒有了炮火抵抗，這仗就沒法打。我也擔心這一點啦！”
兩人擔心的事果然發生了，塔齊布親自率領湘軍，在風雨聲裏突然出現在十三座營壘中，揮舞大刀奮力砍殺。湘軍平時就在風雨中訓練跑步、臥倒、拚殺，現在派上了用場，充分發揮了潛力。
塔齊布、李孟群、羅澤南、李續賓等提督、知府一級的高官，身先士卒，無所畏懼，近身與敵人拚肉搏。士兵們見長官如此，人人爭先，個個向前，就像一群凶猛廝殺的狼。同時，楊載福、肖捷三率水師也殺了過來，到處都是湖南口音的喊殺聲。
韋誌俊、陳玉成本身就是打硬仗的人，見到這種陣勢也不由得心驚膽寒，命令部隊趕快撤退，保存實力，否則隻會是作無謂傷亡。他們好像這一下被打怕了，一口氣撤退了幾百裏，順長江坐船到了武漢。來時數萬人，回去時隻有幾千人，真所謂兵敗如山倒。
曾國藩命令部隊趁勝追擊，他自己也及時趕到湖北監利縣螺山紮營，實行他更大的出省作戰計劃。他為此特向朝廷寫了一篇《嶽州水陸大捷踏平賊營進駐螺山折》。皇上得報大喜賞給曾國藩三品頂戴。
向榮所率江南大營借湘軍大捷之威，也在天京附近頻繁騷擾，兩次擊敗秦日綱水師，使長江上遊物資無法運進天京；又在高橋門一帶攻打城池。楊秀清命令韋誌俊從武漢帶兵回援天京。太平軍在武漢的守軍人數大減，主要集中在武昌和崇陽兩地，總人數不到三萬。
不到半年時間，曾國藩湘軍在湘潭、常德、嶽州、城陵磯取得四場大捷，讓太平軍望風披靡，不僅收回了湖南全境，還協助荊州將軍官文肅清了武漢上遊地區。有足夠的力量去奪取武漢。
湖北原副都統魁玉、總兵楊昌泗丟失武昌後，依附荊州將軍官文，戴罪立功收複了潛江、沔陽等縣，現在趕到監利螺山，與湘軍水師李孟群部會合，首要任務是保護曾國藩安全。
提督塔齊布帶兵打出湖南，連接攻下通城、崇陽、臨湘、蒲圻、在崇陽俘獲太平軍丞相金之享當即斬首示眾。消除了太平軍設在武昌城以外的一個重要屏障。
曾國藩親自帶領水師順長江而下占領嘉魚縣城。曾國藩、塔齊布這兩位湘軍頭麵人物都親臨前線，大大鼓舞了湘軍士氣。出省作戰以來總是勝多敗少，沒有遇到太多麻煩。隻是太平軍太重視崇陽軍事要地，湘軍占領崇陽以後隻任命吳振鏞為知縣，精銳部隊繼續向北進軍。太平軍總製廖敬順丟失了嘉魚，想戴罪立功來偷襲崇陽，順利得手。陣斬知縣吳振鏞。
這時新任四川按察使胡林翼帶一股湘軍趕到，他名義上是四川按察使，但沒有離開湖南一直在帶領湘軍作戰，為收複常德、桃源立下大功。曾國藩、塔齊布都親臨湖北前線，胡林翼怎麼甘於落後？也趕來湊熱鬧，曾國藩即刻命令他去再奪崇陽。