曾國藩十分重視湘軍的紀律教育，力爭以湘軍形象改變老百姓心目中"兵不如匪"的看法。曾國藩說："擔心民心一旦失去，不可挽回，誓欲練成一旅，秋毫無犯，以挽民心而堵塞民口，每逢三八操演，集諸勇而教之，反複開說至千百語，但令其無擾百姓。自四月以後，間令塔將傳喚營官，一同操演，亦不過令弁委前來，聽我教語。......國藩之為此，蓋欲感動一二，希望其不擾百姓，以雪兵勇不如賊匪之恥，而稍變武弁漫天紀律之態"。目的在於，要在精神上喚起兵勇的自覺，以對抗太平軍。曾國藩苦口婆心，開誠布公，勸導士兵嚴守紀律，愛護百姓。他親自創作了一首《愛民歌》，歌詞是：
三軍個個仔細聽，行軍先要愛百姓。
賊匪害了百姓們，全靠官兵來救人。
百姓被賊吃了苦，全靠官兵來做主。
第一紮營不貪懶，莫走人家取門板。
莫拆民房搬磚頭，莫踹禾苗壞田產。
莫打民間鴨和雞，莫借民間鍋和碗。
莫派民夫來挖壕，莫到民家去打館。
築牆莫攔街前路，砍柴莫破牆上樹。
挑水莫挑有魚塘，凡事都要讓一步。
第二行路要端詳，夜夜總要住帳房。
莫進城市占鋪店，莫向鄉間借村莊。
人有小事莫喧嘩，人不躲路莫擠他。
無錢莫扯道邊菜，無錢莫吃便宜茶。
更有一句緊要處，切莫擄人當長夫。
一人被擄挑擔去，一家嚎哭不安居。
娘哭子來眼也腫，妻哭夫來淚也枯。
從中地保又訛錢，分派各團與各部。
雞飛狗走都嚇倒，塘裏嚇死幾條魚。
第三號令要嚴明，兵勇不許亂出營。
走出營來就學壞，總是百姓來受害。
或走大家訛錢文，或走小家調婦女。
邀些地痞做夥計，買些燒酒同喝醉。
逢著百姓就要打，遇著店家就發氣。
可憐百姓打出血，吃了大虧不敢說。
生怕老將不自在，還要出錢去賠罪。
要得百姓稍安靜，先要兵勇聽號令。
陸軍不許亂出營，水軍不許岸上行。
在家皆是做良民，出來當兵也是人。
官兵賊匪本不同，官兵是人賊是禽。
官兵不搶賊匪搶，官兵不淫賊匪淫。
若是官兵也淫搶，便同賊匪一條心。
官兵與賊不分明，到處傳出醜名聲。
百姓聽得就心酸，上司聽得皺眉尖。
上司不肯發糧餉，百姓不肯賣米鹽。
愛民之軍處處喜，擾民之軍處處嫌。
我的軍士跟我走，多年在外名聲好。
如今百姓更窮困，願我士兵聽教訓。
軍士與民共一家，千記不可欺負他。
日日熟唱愛民歌，天和地和人又和。
這首《愛民歌》是借用白話詩的體裁，亦即當時最流行的蓮花落歌詞，深入淺出，富於情趣，又朗朗上口。它同時又是湘軍士兵的識字課本，曾國藩每日裏在訓教的過程中，隻教一、二句，先識字，後理會其內涵，循環往複，身體力行，使湘軍成為一支有主義的軍隊。曾國藩這種精神訓練方法，拋開其目的，僅從其治兵之道來看，是值得稱道的。
除了理學說教，曾國藩還以宿命論去禁錮勇丁的精神。他公開向勇丁說："人之生死有命數的，你若不該死時，雖千萬人將你圍住，自有神明護佑，斷不得死；你若該死，就坐在家中，也是要死。可見與賊打仗是怕不得的，也可不必害怕。"此外，曾國藩還把升官發財作為訓勇的重要內容。他在《曉諭新募鄉勇》中公開號召湘勇努力殺"賊"，以便"得官的得官，得賞的得賞"。重賞之下，必有勇夫，曾國藩是深知這個常情的。總之，大而訓以忠孝仁義，小而威以神鬼閻羅，再誘以"得官得賞"，這就是曾國藩枷鎖湘勇的全部思想武器。
對湘軍的操練，曾國藩強調勤與熟。他將湘軍營規定為《日夜常課之規》七條：
"一、五更三點皆起，派三成隊站牆子一次。放醒炮，聞鑼聲則散。
二、黎明演早操一次，營官看親兵之操，或幫辦代看。哨官看本哨之操。
三、午刻點名一次，親兵由營官點，或幫辦代點。各哨由哨長點。
四、日斜時，演操一次，與黎明早操同。
五、燈時，派三成隊站牆子一次，放定更炮，聞鑼聲則散。
六、二更前點名一次，與午刻點名同。計每日夜共站牆子兩次，點名二次，看操二次。此外營官點全營之名，看全營之操無定期，約每月四、五次。
七、每次派一成隊站牆，唱更，每更一人輪流替換。如離賊甚近，則派二成隊，每更二人輪流替換。若但傳令箭而不唱者，謂之暗令。仍派哨長、親兵等常常稽查。"
曾國藩對湘軍日夜課程的七條規定，就是要突出一個"勤"字，使士兵在營中日夜都有一定課程可做，嚴格遵守點名、演操、站牆子、巡更、放哨等營規。曾國藩對於治軍中"勤"字的理解是"治軍以勤字為先，實閱曆而知其不可易。未有平日不起早，而臨敵忽能早起者；未有平日不習勞，而臨敵忽能習勞者；未有平日不能忍饑耐寒，而臨敵忽能忍饑耐寒者"。他在給朋友的信中又提到，"治軍之道，以勤字為先。身勤則強，逸則病；家勤則興，懶則衰；國勤則治，怠則亂；軍勤則勝，惰則敗"。隻有在平日裏保持高度的緊張，才能有備無患，戰時鎮定自若。
曾國藩在操練上要體現一個"熟"字。在操練上分為兩項：技藝和陣法。"練技藝者，刀、矛能保身，能刺人，槍、炮能命中，能及遠。練陣法者，進則同進，站則同站，登山不亂，越水不雜"。
為更好地提高湘軍技藝，熟悉陣法，曾國藩詳細製定了一套課程，作為操練的依據。
"一、每逢三、六、九日午前，本部堂(曾國藩)下教場，看試技藝，演陣法。
二、每逢一、四、七日午前，著本營官下教場演陣，並看抬槍、鳥槍打靶。
三、每逢二、八日午前，主要營官帶領赴城外近處跑坡、搶旗、跳坑。
四、每逢五、逢十午前，即在營中演連環槍法。
五、每日午後，即在本營練習拳、棒、刀、矛、鈀、叉，一日不可間斷。"
當時，湘軍練習的主要陣法是戚繼光的鴛鴦陣、三才陣，《握奇經》的四麵相應陣，以及後來的一字陣、二字陣和方城陣。
在練技藝和陣法上，曾國藩反複強調是熟練，以達到保護自己，消滅敵人的目的。他說："總不外一個熟字：技藝極熟，則一人可敵數十人；陣法極熟，則千萬人可使如一人。"所以，曾國藩在湘軍操練上，嚴格要求，從不間斷，在循序漸進的基礎上達到熟練掌握技藝的程度，從而訓練出一支精強的軍隊。
如 虎 添 翼
湘軍水師的籌建是在曾國藩移駐衡州後開始的，它的成立晚於湘軍的陸師，但曾國藩卻對興辦水師傾注了巨大的力量。
清朝的綠營水師按其軍製，分為外海和內江兩部分，外海水師駐守在廣東、福建沿海地區，內江水師駐紮在長江沿岸各要岸、津口。至鹹豐初年，外海水師仍然存在，而內江水師則久已廢弛，從長江上遊至下遊，見不到水師的船與炮，偶而遇到少數炮船，也不過是在漁船上裝炮以應付時事，根本不能進行任何水戰。鹹豐二年(1852年)冬，太平軍在湖北益陽、嶽州得到了大量民船，確立太平軍水營。攻克南京以後，得民船愈多，遂以船戶水手為水兵，分為前後左中右五軍，後增至九軍。於是千裏長江上，太平天國的水營，行則帆如疊雪，住則檣若叢蘆，乘風急駛，所向無敵。致使清軍猝不及防，太平軍控製了長江水運權。
麵對此一形勢，清王朝要鎮壓以位於長江下遊江寧為中心的太平天國，就必須控製長江；長江決戰的關鍵，當然就是要以水師為主，強則勝，弱則敗。鹹豐三年(1853年)五月，太平軍北渡淮河，南圍南昌之際，禦史黃經上奏朝廷，請飭湖南、湖北、四川造船練兵，從水上攻擊太平軍。鹹豐皇帝接受此一建議，遂批令湖南、湖北、四川照奏執行。湖南巡撫駱秉章接到聖旨後，感到甚是為難，便以力所不及為由將其擱置一邊。江忠源在出援湖北的時候，曾與曾國藩商議，應興辦水師，與太平軍爭奪水上優勢，由於曾國藩顧忌事情難辦，沒有付諸實施。乃至郭嵩燾赴援南昌，見太平軍水師船支穿梭於江湖之上，進退自如，往來迅速，更清楚地意識到欲與太平軍爭雄的先決條件，是建立水師奪回舟楫之利。於是，郭嵩燾遂向江忠源建議，與太平軍抗爭僅憑陸軍是不夠的，必須多建炮船。江忠源對此極為重視，馬上上奏朝廷，請飭兩湖、四川造船，並由廣東購置洋炮千尊，以裝備炮船，興建水師。鹹豐皇帝準其奏議，於是年九月再次督令兩湖、四川製造戰船，並令廣東購洋炮500尊交湖廣、四川，並安置於船上，以便順江而下，與下遊水師夾擊太平軍。聖旨傳到湖南後，駱秉章便命曾國藩籌建水師。
在籌建水師的最初階段，曾國藩既無資金，又無技術，隻好購買釣鉤、小舟發之類的民船，進行改造，暫時充作炮船使用。其後，嶽州水師守備成名標，廣西同知諸汝航來到衡州，經其描述，才使曾國藩了解到拖罟、快蟹、長龍諸船的式樣及功用，大大增強了曾國藩籌建水師的信心。
籌建水師所需的大批資金，一直困擾著曾國藩。為解決此一問題，鹹豐三年(1853年)秋，奏請提取途經湖南解往江南大營的粵餉銀四萬兩，作為購船造炮的經費，又於廣西購得造船的上等木材以造船。於是曾國藩便在衡州設立製造總廠，由成明標任監督，又在湘潭設立分廠，由諸汝航任監督。召集大批能工巧匠，日夜趕製船隻，主要是拖罟、快蟹、長龍三種船型。在即將趕造完工時，曾國藩將長期在江南辦海防的黃冕請到船廠參觀。諳熟水戰船式的黃冕建議每營添造十隻舢板船，其船身短小，運行靈活，適宜在河灣港汊中行駛，以補快蟹、長龍在作戰中由於船體大運行不靈活的缺點。曾國藩遂接受此一建議，即刻開工，趕造舢板。
曾國藩不僅對於造船精益求精，而且對於所置炮的質量與裝配方式亦很講究。當時，中國各地所鑄造的戰炮，不僅炮身笨重，射程短，而且由於技術不過關，時常出現炸裂。為此，曾國藩花費重金，從廣東購置大批洋炮，"兩廣督臣葉名琛購備洋炮為兩湖水師之用，現已先後解到600尊，皆係真正洋莊"。為使水師船隻能更好地提高作戰能力，曾國藩深入研究了各炮位的作用，並配置了用途不同的各式戰炮。在湘軍水師營製中，對此有著極為詳細的記錄：
"凡船式炮數，長龍船底長四丈一尺，底中寬五尺四寸。舢板船底長二丈九尺，底中寬三尺二寸；督陣舢板船加長大。長龍船頭炮二位，係洋莊(洋炮)，各重八百斤、一千斤不等，邊炮四位，洋莊，各重七百斤，梢炮一位，洋莊，重七百斤。舢板船頭炮一位，洋莊，重七百斤、八百斤不等，梢炮一位，洋莊，重六百斤、七百斤不等，兩邊轉珠小炮二位，重四、五十斤不等。此外鳥槍、刀、矛、噴筒，隨宜配用，以備近戰"。
經過一段時間的精心籌備，至鹹豐四年(1854年)初，曾國藩將湘軍水師船炮準備齊整，總計有大小戰船361號，其中拖罟船1號，快蟹船40號，長龍船50號，舢板150號，戰船120號。並裝備了大小炮470門，其中購置洋莊炮320門，從廣西借來的150門。
湘軍水師的營製略同於陸軍，初期425人為一營，後改為500人為一營，共計十營，營官分別由褚汝航、夏鑾、胡嘉垣、胡作霖、成名標、諸殿雲、楊載福、彭玉麟、鄒漢章、龍獻深來擔任。水師營製的具體辦法是：
"凡水師，每營營官一員，每船哨官一員，初製營官領快蟹船一支，各哨官分領長龍船一隻，舢板船十隻，合二十一船為一營。快蟹船槳手二十八人，櫓工八人，艙長一人，頭工一人，舵工一人，炮手六人，共四十五人。長龍船槳手十六人，櫓工四人，頭工一人，舵工一人，炮手二人，共二十四人。舢板船槳手十人，頭工一人，舵工一人，炮手二人，共十四人。一營共四百二十五人。至鹹豐五、六年(1855-1856年)間，裁快蟹船，減長龍船為八隻，增舢板船為二十二隻，合三十船為一營，每營共五百人。營官、哨官都在外"。
曾國藩經過一番艱苦努力，終於搞起一支在技術與裝備上大大超過太平軍的內河水師。
曾國藩的兵製改革，不但是清代曆史上的一件大事，也是我國從"五帝行教，兵由是興"以來的軍事製度史上的一件大事。這次兵製改革，是由太平軍的強大，而綠營不堪一用這樣的情勢所"逼"出來的，也就是說，它順應了時代的要求。加上曾國藩對兵製改革進行了精心設計，因而它的成功，被湘軍使擁有五十七、八萬人的綠營相形見絀和太平軍最後被鎮壓下去這樣兩個鐵的事實所證明，從而造成了所謂"同治中興"。同治八年五月和八月，曾國藩不無自豪地兩次向朝廷上《遵旨籌議直隸練軍事宜折》、《遵旨續議直隸試辦練軍事宜折》，是他對兵製改革所進行的總結。他企圖用湘軍的模式來改造京畿乃至全國經製軍，以進一步擴大兵製改革的影響。可惜，清政府已在風雨飄搖之中，無心也無力進行認真的振興，曾國藩本人也年老體衰，政治上已走向自己的盡頭，徒有雄心而已。