一八五四年二月二十五日，民間剛剛過完春節，曾國藩在皇上一再催促下，迫不及待地在衡陽隆重誓師，宣布正式出征討伐粵匪。各營官兵訓練有素，整齊排列台下，恭聽曾國藩訓示。
曾國藩首先宣讀了湘軍行動綱領《討粵匪檄》，這篇檄文由曾國藩親自起草，充分發揮他善作文章之特點，挖空心思排列出‘粵匪種種罪行’，表明自己是正義之師，鼓勵官兵們‘除暴安良’。
讀完《討粵匪檄》，曾國藩使盡全力道：“湘軍弟兄們！你們身係國家安危，肩負朝廷重托，我衷心希望你們個個勇猛，人人忠義，共滅粵匪一起升官發財。目前粵匪已經打到武昌城下，正分兵向我湖南進犯。為父老鄉親免受蹂躪，我宣布弟兄們立即北上迎擊粵匪。”
人們注意到過去朝廷方麵總愛稱太平軍為‘發匪’，而現在曾國藩滿口叫太平軍是‘粵匪’，這是經過曾國藩深思熟慮的。太平軍違反朝廷規定留起頭發，根據這一外貌特征，清王朝習慣稱太平軍為‘發匪’。曾國藩認為越叫太平軍發匪，太平軍就越發，他覺得太平軍首領們都是兩廣人，又是從兩廣起事，禍根來自於兩廣，應該叫太平軍‘粵匪’更好，這樣可以加強地域觀念，孤立天國首領們。
曾國藩這一改稱可能也起到了一定的政治效果。曾係湘軍由衡陽出發，坐上戰船順湘江北上，從此開始與太平軍大規模正麵交鋒。
這一年多來曾國藩創辦湘軍的行動，太平軍方麵也有所耳聞，隻是由於天京周圍及北伐各戰場牽扯兵力太多，湖南又相隔較遠，楊秀清沒有能力將曾係湘軍扼殺在搖籃裏。
現在太平軍已有力控製了長江中下遊一帶，安慶、九江已牢牢掌握在天兵手中，數萬大軍聚集在漢口、漢陽，打下武昌隻是時間問題。東王府認真研究了目前軍事形勢，決定派國宗石祥禎率先鋒部隊，攻打湖南消滅湘軍；春官又副丞相林紹璋、恩賞丞相張子朋率後續部隊繼之。
石祥禎率征湘軍從漢陽出發，趁黑夜偷襲金口鎮，俘獲清軍炮船。湖北按察使唐樹義坐劃船沿江西逃，石祥禎命令部下開炮，將其劃船擊沉，唐樹義中彈死於江中。
征湘軍無所阻擋劃船西上，七日後踏上湖南地麵，打敗城陵磯守軍，直奔嶽州府。巴陵知縣朱元燮率數百團練攔截，被征湘軍一陣掩殺全軍覆沒，朱元燮死於刀下。
征湘軍行動迅速，半月之內連占嶽州、湘陰、寧鄉三縣，兵鋒直抵湖南省城長沙。這時曾係湘軍也已由衡陽進抵長沙，大戰就在眼前，惶恐彌漫在長沙上空。
綠營兵們隻會內訌，聽說粵匪來攻個個嚇得不敢露頭，隻恨自己身上穿了那件清兵號褂。提督鮑起豹也將守城希望寄托在曾係湘軍身上，好酒好肉真心真意地款待他們。長沙城內，半年前灰溜溜退到衡陽的湘勇們，此刻又變成了眾望所歸的英雄。