駱秉章一麵派人去請提督鮑起豹來製約部下；一麵又親自出麵勸說營兵們冷靜一些。經三方談判協商達成三個條件：一、曾國藩再不插手綠營事務。二、塔齊布公開向張遊擊賠禮道歉。三、團練湘勇搬出長沙另建營地。
塔齊布因為一場風流韻事，讓綠營兵抓住把柄，使湘勇團練在長沙再無法立足。曾國藩隻得率部下南遷數百裏，灰溜溜將團練大營搬到衡陽城內，這才避免一場大衝突。
曾國藩將大營遷到衡陽後，反而感到輕鬆自在多了，這裏沒有誰來故意搗亂，曾國藩可以放開手腳，擴充軍隊加強訓練。
現在曾國藩見湘勇陸軍已經練得差不多了，他猛然記起江忠源曾給他寫信一封，強調水師重要性，說發匪之所以猖獗於江蘇、安徽、江西、湖北一帶，是因為利用了長江之便，一出動就是上千條漁船氣勢很嚇人。同時江忠源又向皇上稟奏，建議發一道聖旨命令曾國藩在湖南創立水師。鹹豐帝言聽計從，很快上諭曾國藩組建水師。
隻是種種原因，曾國藩在長沙無法充分發展勢力，現在移居衡陽，離開了綠營兵們的騷擾，他可以擴大軍隊，編練一支水師了。
有皇上旨意，曾國藩放開手腳幹，首先網羅到一些人才：嶽州守備成名標、廣西候補同知褚汝航、知縣夏鑾奉調來到。曾國藩遂命令成名標督造戰船，設大廠於衡陽。接著又命令褚汝航去湘潭辦一分廠，加緊趕製船隻。
同時曾國藩開始招收船工水手，編成水師兵卒。應征者踴躍不斷，經篩選後方可入練。
衡陽廩生彭玉麟精通水性，經常在湘江裏遊泳。這次湘軍創建水師，彭玉麟覺得機會難得想幹一番大業，於是通過州府向曾國藩作一個毛遂自薦。
曾國藩正在物色水師營官，彭玉麟自告奮勇而來趕上時候，其條件正合要求：一、他是湖南人。二、他有功名。三、他出身漁家精通水性吃苦耐勞。四、他原本在衡陽州府內任職可以信賴。五、他三十八歲年富力強，又有誌於獻身水師。
另有湘陰外委楊載福與彭玉麟情形相似，一並被曾國藩任命為水師營官。曾國藩知人善任，用其所長，使湘軍水師發展迅速。在不到半年的時間裏水師建成，擁有大小戰船五百艘，水兵五千人。
一八五四年初春，曾係湘軍全部練成，水陸作戰部隊及將領、勤雜後勤人員等總共一萬七千人。陸軍為十三營每營五百人，以塔齊布、周鳳山、儲玫躬、林源恩、鄒世琦、鄒壽璋、楊名聲、曾國葆等為營官；水師分為五正營、五副營，以成名標、彭玉麟、楊載福等為營官，褚汝航為水師統領，陸軍以塔齊布為先鋒官。
曾係湘軍初起人數隻是太平軍的百分之一，但他們最終滅掉了太平天國。
正是：強弱不是天注定，以少勝多古由今。