經過一段時間的精心籌備，至鹹豐四年（1854年）初，曾國藩將湘軍水師船炮準備齊整，總計有大小戰船361號，其中拖罟船1號，快蟹船40號，長龍船50號，舢板150號，戰船120號。並裝備了大小炮470門，其中購置洋莊炮320門，從廣西借來的150門。
湘軍水師的營製略同於陸軍，初期425人為一營，後改為500人為一營，共計十營，營官分別由褚汝航、夏鑾、胡嘉垣、胡作霖、成名標、諸殿雲、楊載福、彭玉麟、鄒漢章、龍獻深來擔任。水師營製的具體辦法是：
“凡水師，每營營官一員，每船哨官一員，初製營官領快蟹船一支，各哨官分領長龍船一隻，舢板船十隻，合二十一船為一營。快蟹船槳手二十八人，櫓工八人，艙長一人，頭工一人，舵工一人，炮手六人，共四十五人。長龍船槳手十六人，櫓工四人，頭工一人，舵工一人，炮手二人，共二十四人。舢板船槳手十人，頭工一人，舵工一人，炮手二人，共十四人。一營共四百二十五人。至鹹豐五、六年（1855-1856年）間，裁快蟹船，減長龍船為八隻，增舢板船為二十二隻，合三十船為一營，每營共五百人。營官、哨官都在外”.
曾國藩經過一番艱苦努力，終於搞起一支在技術與裝備上大大超過太平軍的內河水師。
曾國藩的兵製改革，不但是清代曆史上的一件大事，也是我國從“五帝行教，兵由是興”以來的軍事製度史上的一件大事。這次兵製改革，是由太平軍的強大，而綠營不堪一用這樣的情勢所“逼”出來的，也就是說，它順應了時代的要求。加上曾國藩對兵製改革進行了精心設計，因而它的成功，被湘軍使擁有五十七、八萬人的綠營相形見絀和太平軍最後被鎮壓下去這樣兩個鐵的事實所證明，從而造成了所謂“同治中興”.同治八年五月和八月，曾國藩不無自豪地兩次向朝廷上《遵旨籌議直隸練軍事宜折》、《遵旨續議直隸試辦練軍事宜折》，是他對兵製改革所進行的總結。
7.靠思想教育破“心中之賊”
麵對紀律嚴整、作風優良的太平軍，曾國藩深知必須從精神上喚起兵勇之自覺，始能對抗太平軍。曾國藩將湘軍的訓練分為訓練與操練兩種，而以訓教為根本，特別注重思想性的教育。曾國藩在所著的《勸訓練以禦寇》中寫到：
禁嫖賭，戒遊惰，慎言語，敬尊長，此父兄教子弟之家規也。為營官者，待兵勇如子弟，使人人學好，個個成名，則眾勇感之矣。
曾國藩以理學家的身份創立湘軍，為此他十分重視義理之教在湘軍中的作用。王守仁曾說過“破山中之賊易，破心中之賊難”的話，曾國藩遂將此一思想運用於治軍上，則可理解為，重視“操練”就是“破山中之賊”的功夫；“訓教”則是“破心中之賊”的功夫。因為“破心中之賊”難，所以對於訓練必須下苦功夫。如何訓教，曾國藩將其分為兩個方麵，即官兵與兵民。在官兵方麵，他強調以義理來帶兵。他指出：“帶勇之法，用恩莫如用仁，用威莫如有禮。仁者，即所謂欲立立人，欲達達人也。待弁勇如待子弟之心，常望其成立，望其發達，則人知恩矣。禮者，即所謂無眾寡，無大小，無敢慢，泰而不驕也。正其衣冠，尊其瞻禮，伊然人望而畏之，威而不猛也。持之以敬，臨之以莊，無形無聲之際，常有懍然難犯之象，則人知威矣。守此二者，雖蠻貊之邦行矣，何兵勇之不可治哉！”在湘軍中，倡導將領以父兄般對待教導士兵，士兵也就視將領為父兄，加之湘軍中客觀存在的親黨鄰裏的血緣和地緣關係，每每在訓教後，均收到勇丁感動得五體投地的效果。
曾國藩十分重視湘軍的紀律教育，力爭以湘軍形象改變老百姓心目中“兵不如匪”的看法。曾國藩說：“恐民心一去，不可挽回，誓欲練成一旅，秋毫無犯，以挽民心而塞民口，每逢三八操演，集諸勇而教之，反複開說至千百語，但令其無擾百姓。自四月以後，間令塔將傳喚營官，一同操演，亦不過令弁委前來，聽我教語。每決與諸弁兵講說至一時數刻之久，雖不敢雲說法點頑石之頭，亦誠欲以苦口滴杜鵑之血。……國藩之為此，蓋欲感動一二，冀其不擾百姓，以雪兵勇不如賊匪之恥，而稍變武弁漫天紀律之態”.目的在於，要在精神上喚起兵勇的自覺，以對抗太平軍。曾國藩苦口婆心，開誠布公，勸導士兵嚴守紀律，愛護百姓。他親自創作了一首《愛民歌》，歌詞是：
三軍個個仔細聽，行軍先要愛百姓。
賊匪害了百姓們，全靠官兵來救人。
百姓被賊吃了苦，全靠官兵來作主。
第一紮營不貪懶，莫走人家取門板。
莫拆民房搬磚頭，莫踹禾苗壞田產。
莫打民間鴨和雞，莫借民間鍋和碗。
莫派民夫來挖壕，莫到民家去打館。
築牆莫攔街前路，砍柴莫破牆上樹。
挑水莫挑有魚塘，凡事都要讓一步。
第二行路要端詳，夜夜總要走帳房。
莫進城市占鋪店，莫向鄉間借村莊。
人有小事莫喧嘩，人不躲路莫擠他。
無錢莫扯道邊菜，無錢莫吃便宜茶。
更有一句緊要書，切莫擄人當長夫。
一人被擄挑擔去，一家嚎哭不安居。
娘哭子來眼也腫，妻哭夫來淚也枯。
從中地保又訛錢，分派各團與各部。