真正成為太平軍勁敵的倒是曾國藩練成的湘軍。為母奔喪，在籍丁憂的禮部右侍郎曾國藩，自去年元月奉旨辦團練後，一直在厲兵秣馬，整裝待發，隻是在去年派出羅澤南部八百人增援南昌，小試牛刀。
曾國藩奉旨幫辦團練時，到長沙去拜訪時任湖南巡撫的張亮基，對著胡須花白，老態龍鍾的張亮基，曾國藩拱手施禮，十分謙恭道：“滌生乃一文弱書生，不懂帶兵之道，此次幫辦團練，還敬請巡撫大人多多指教。”
曾國藩故意把‘幫辦’二字說得特別重，強調自己是附屬地位，表明皇上隻是讓他幫助湖南練一支新軍，讓他為朝廷盡點能力而已。
張亮基知道麵前這位三角眼睛，瘦窄臉麵，尖尖下巴但卻目光犀利的禮部侍郎，是朝廷的特等人才，他把比自己年輕二十歲的曾國藩，按坐在椅子上說道：“我已老朽矣！滅發匪還得靠你們這些相對年輕的人。去年夏天守長沙時還多虧了湘陰舉人左宗棠出主意。湖南本身就出人才，加之你是才中之才，想必你此來必有良策，不妨快快講來。”
曾國藩崇尚程朱理學，但並不是一個迂腐子，先前已行禮節，一聽張亮基求計，他便口若懸河，滔滔不絕：“發匪多亡命之徒，打仗不怕死，所以才以少勝多，由弱變強，橫行萬裏。我綠營兵多為衣食謀，敢玩命者太少，一遇發匪紛紛潰散尤不耐苦戰，人數再多又有何用哉？此次皇上命令在下幫辦團練，在下想在長沙建立一個大團。尤其注意兵源素質，油嘴滑舌、賣乖取巧者一律不要，就各縣曾經訓練之鄉民擇其健壯而樸實者，招募來省，練一人受一人之益，練一月有一月之效，求其精而不求其多，練成之後定能以一當十也！”
張亮基擊掌叫好：“曾侍郎言之有理，就依你之計行事。”
曾國藩將個人建軍意圖，寫成一篇奏章稟報皇上。鹹豐帝原本隻讓他幫辦團練，不料想他一個文人倒有如此精辟的軍事見解，遂免去幫辦二字，讓他獨創一軍。
早在太平軍圍攻長沙之時，湘鄉知縣朱孫詒就委派本縣儒生羅澤南及弟子王鑫、李續賓、李續宜辦團練。這些團練已鎮壓過湘鄉縣境內幾次小規模農民暴動，在湖南小有名氣。
曾國藩立即將羅澤南、王鑫、李續賓、李續宜等調往長沙，著手招兵買馬，以湘鄉團練為基礎，開始創建曾係湘軍。
曾係湘軍還處在組織發展階段時，就一邊訓練一邊在湖南境內到處用兵，扼殺省內民眾起義。一八五三年三月至次年一月，曾國藩先後派王鑫攻常寧縣白沙堡何六吳起義；派羅澤南平息衡山草市劉積厚暴動；派劉長佑鎮壓安仁劫獄焚燒縣衙民眾；派朱孫詒剿滅安化縣串子會；派夏挺樾擊敗宜章、臨武、永興三縣暴民；派多名湘軍將領來往於湘南一帶，擊殺進入湖南之廣東、廣西起義民眾；派塔齊布打退鄒恩隆天地會，奪回茶陵、安仁兩座縣城；派周鳳山、儲玫躬、曾國葆打敗何賤苟亂黨，收複常寧、嘉禾兩縣；派羅澤南用兵郴州、永興，鎮壓農民暴動。