首先，針對綠營機構重疊、各營人數懸殊、兵將互不相習的狀況，根據戚繼光"營陣以伍什隊哨為首，乃以束伍貫徹各篇，幾乎能知曉先後次序"的經驗，曾國藩創建湘軍，以隊為基礎。他規定：每隊十人，另什長一人，夥勇一人；隊上為哨，每哨八隊；哨上為營，每營四哨，另設親兵六隊，總共三級。這個營製，鹹豐三年已初步形成，當時每營定為三百六十人；後來，各哨增加長夫，減少戰鬥員(當時稱為正勇)從事運輸、搭棚、挖壕、炊爨等後勤工作的體力消耗，使他們"神明體壯，可以待敵"，因而每營總合五百人。到鹹豐九年，曾國藩撰《營製》和《馬隊營製》，湘軍的束伍之法便完全定型。李鴻章組建淮軍，初亦仿效湘軍營製，然"不到一年，盡改舊製，更新仿照敵軍"。後之湘軍，更是仿效它。曾國藩親手所訂營製，被他的後繼者逐番變革，亦因時製宜之意。雖然如此，曾國藩所定營製，克服了綠營人員不固定，"因平日之事權不一，則臨陣之指揮不靈"，"始終不能使士兵死力拚殺"的弊病，使湘勇"耳目是專門設置的，心誌無二心，因此所向有功"。這個曆史作用，在曾國藩所建"功業"中充分顯示了出來。
在《營製》中，曾國藩規定每哨的八個隊中，第一、五隊為抬槍隊，第三、七隊為小槍隊，其後各緊隨一刀矛隊；親兵六隊中，第一、三隊為劈山炮隊，第五隊為小槍隊，其後亦各緊隨一刀矛隊。槍炮利於衝鋒，刀矛宜於肉搏。這樣間隔編伍，可以使冷熱武器相形益彰；它是曾國藩的"一正，一奇，一接應，一設伏"的戰術思想的體現；同時，它的製定是從湘軍對武器的實際擁有水平出發的，因而有利於發揮各種武器的長處，增強整體戰鬥力。這點，也是綠營所遠遠不及的。
曾國藩的營規，是他於鹹豐三年(1853年)建軍之初開始提出，經過逐漸完善，於鹹豐九年(1859年)最後定稿成型的。他於鹹豐八年製訂了《初定營規二十二條》，包括紮營六條、開仗五條、行路三條、守夜三條、軍器五條。第二年，他又進行了增訂，包括招募之規二條，日夜常課之規七條、紮營之規八條、行路之規三條、禁擾民之規若幹條(即他所撰《愛民歌》八十句)、禁洋煙等事之規七條、稽查之規五條。這些條款，雖然在實際執行中常常打著折扣，其中一些內容，如《愛民歌》中所定紀律，在帶勇者那裏徒為裝飾門麵的材料，但是，它們作為套在湘勇脖子上的枷鎖，逼使湘勇去為地主階級拚命賣命，卻起過重大作用。這是曾國藩在清代中葉鏟除綠營積習，能創建有別於綠營的新式軍隊的重要原因之一。
其次，曾國藩在《營製》中明文規定了厚薪厚賞製。他在一份奏稿中說："臣初定湘營餉項，略微表示優厚，原來希望每月有餘，以養將領之廉，而作軍士之氣。"他以"養將廉"與"作士氣"的冠冕堂皇的理由，取得了朝廷的默認。而當時的綠營，"兵丁的通常情況是，口分不足以自給，每兼以小貿營生，手藝營生，以資生計"。因為清廷當時已無力開支幾十萬人馬的軍餉，僅直隸一地，同治六、七兩年，"欠發各款，除京協各餉及文職應領之款，共欠一百五十餘萬外，專就本省武營言之，欠發綠營及駐防俸薪、養廉三十二萬餘兩，欠發兵餉二百七十餘萬兩，欠發米折及公費銀十三萬餘兩"，使得將士的糧餉每人每月僅支五折、七折、八折不等。這種情況在鹹豐年間便早已存在。鹹豐元年(1851年)，曾國藩曾大聲疾呼："國家財政不夠使用，朝野內外，人人憂慮"，"以天下之士，而無三年積蓄，慌慌張張地為每一天的生計而擔憂"!曾國藩正是針對綠營糧餉日絀，軍心難安的情況，在湘軍實行厚薪製，以賄賂將勇。與此同時，曾國藩還實行厚賞製，如"臨陣有能殺賊一名者，功賞銀十兩，並賞八品軍功"，"拿獲太平軍首領，每名賞銀二十兩，太平軍士兵，每名賞銀十五兩"。又對有"戰功"者不斷保舉，多達十幾萬人次，其中保至三品以上的就達幾萬人。光攻占金陵後，兩次共保舉四千三百多人。曾國藩後來反省道："沉思所做的事，隻是保舉太粗糙，這就是亂政。"厚薪厚賞和保舉，是曾國藩實現他的"得官得賞"的諾言，維係軍心，激勵軍心，促使湘軍去為他拚命賣命的兩個重要手段。
再次，湘軍出現了長夫之製和帳棚之製。綠營兵除擔任各地鎮守任務之外，還要擔負各種差役，如河工、漕運、守陵等任務。綠營軍不僅所承擔的任務龐雜，而且由於沒有專門的後勤組織去承擔軍中雜務，因此平時無法集中全身的精力去訓練，戰時還要到處拉差抓夫，危害極大，致使"自有駐防軍以來，百姓活者貧困，死者無葬身之地"。綠營兵的擾民害民，使民眾與清軍的對立情緒很大。曾國藩有鑒於此，決定與成軍的同時，增加長夫之製和帳棚之製，解決綠營軍的弊端。
"長夫之製"是：營官及幫辦人等共用長夫40名，搬運子藥、火繩及一切軍裝等項，共用長夫30名；親兵每劈山炮隊用長夫三名，每刀矛、小槍隊用長夫二名，計六隊共長夫14名。如拔營遠行，營官另撥長夫幫抬劈山炮。哨官、哨長用護勇五人、長夫四名，四哨共長夫16名；每台槍隊用長夫三名，每刀矛、小槍隊用長夫二名，計四哨抬槍八隊共長夫24名；刀矛、小槍24隊，共長夫48名。500人一營，以上各項，共長夫180名，隻許減少，不許增多。
"長夫之製"，在每500人一營中，配有180名的長夫，來承擔湘軍搬運行李、帳棚及刀矛、槍枝、彈藥等各種軍用物資，起到了現代輜重兵的作用。因此，湘軍正兵平時可以在訓練時集中精力刻苦訓練，以提高軍隊素質，戰時則能在後勤部隊--長夫的配合下，全身心地投入戰鬥，無疑會提高部隊的戰鬥力。同時，由於配備了長夫，行軍作戰時就不用再去抓夫，減少了對百姓騷擾。曾國藩的"長夫之製"，是軍隊建設過程中，加強後勤工作的一項得力措施，它對於後來的軍隊建置有著極為深遠的影響。
"帳棚之製"是"營官、幫辦、書記、軍火等，共用夾帳棚八架，單帳棚二架；哨官、哨長、護勇共夾帳棚一架，六隊同；正勇每隊單帳棚二架，32隊同；以上共夾帳棚18架，單帳棚80架"。
湘軍設立"帳棚之製"，名義上不允許湘軍在作戰時占住民房，減少軍隊對百姓日常生活的擾害，緩和了軍隊與百姓之間的矛盾。
訓 練 兩 全
曾國藩兵製改革的第二大特色，是他在軍隊內部強化封建意識。
鹹豐四年(1854年)正月21日，他在給郭昆燾的信中慷慨陳詞："逆匪信天主之教，棄孔子之經；但知有天，無所謂君也；但知有天，無所謂父也；蔑中國之人倫，聽從敵人的謬誤；農不能自耕以納賦，而學賈氏官田之法，說這都是天王之田；商不能自運以取息，而借王氏貸民之說，說這都是天王之貨。"這段話，與他在同月28日發布的《計粵匪檄》幾乎一模一樣，甚至連有些字句也相同，它的中心思想是要維護"君君、臣臣、父父、子子"的封建人倫關係，維護兩千多年的孔教統治。他在信中哀歎道："此豈獨我大清之變?乃堯舜以來之奇變，我仲尼之所痛哭於九泉者也。"這就是說，曾國藩自辦團練之初便明確意識到，湘勇與太平軍之間開展的大規模戰爭，不止是軍事鬥爭，而同時是兩種文化之戰，兩種精神意識之戰，兩種社會製度之戰。因此，當他寫信給"蜜遁以鳴高，蔬食以自足，入山唯恐不深，入林唯恐不密"的郭昆燾，動員他入幕時，便以這樣的理由去打動他："今以天主教橫行中原，而儒者或漠然不以憂慮，廉恥之道喪失，你們有所不知就辭退了。"曾國藩勸他不要認為入幕"替我走後門是為了國家的利益，而以為國家之公義；不以為兵家討伐的常規，而以為孔門千古就是變化的"。曾國藩的這封信，典型地說明他是靠豎起孔門的"忠義"大旗，來聚集那些崇尚名教、尊重名分的封建士子的。《湘軍記》載：江忠源帶楚勇援戰江西時，"士人輕死陷陣，每克縣城，國藩聞而樂之，益以忠義激勵將士"，是其證。
在倡導忠義的思想指導下，曾國藩強調要創建"死黨"。他反複向朋僚們闡明："我想練勇萬人，呼吸相顧，痛癢相關，赴火同行，蹈湯同往，勝則舉杯以讓功，敗則出死力以相救。賊有誓不相棄死黨，吾官兵亦有誓不相棄死黨。"因此，須"慷慨地求吾黨質直而曉軍事之君子，將之以忠義之氣為主，而輔之以訓練之勤"。並且強調："今欲圖謀大局，......專用新招之勇，求忠義之士統領它，不雜入營稍久之兵，不用守備以上之將。"他表白自己的心境說，他"所求的，不在鄉勇，而在帶勇的人；不在拳技，而在肝膽忠義的氣慨"。曾國藩提出了將領的四個條件，"第一要才能治民，第二要不怕死，第三要不貪圖急功近利，第四要耐受辛苦。"如果抽象地看這四條，這些無疑是一個好將領所必須具備的。但曾國藩緊接著說："大抵有忠義血性，則四者相從以俱備；無忠義血性，就是有這四者之相，但也是最終不可依靠的。"這就是說，對君主、上司、友朋的忠義之氣，是主體，四者是從屬，無主體則無從屬；否則，即使四者全備，曾國藩也認為僅僅"貌似"，不能引他們為同黨。後來的事實證明，曾國藩所聚集的骨幹力量，主要是以衛道者自居而仕途並不得意的文生，其次是講忠義的下層武夫。據羅爾綱《湘軍新誌》第四章統計，湘軍的重要將領連同曾、胡的幕僚共182人，其中可考者一百七十九人，而文生一百零四人，占58%，武夫七十五人，占42%。
至於湘軍內部的基本格局，《湘軍誌》的作者王運認為是"儒生統領農民"。這種說法是不準確的，主要是要對他所說的"農民"有所辨析。首先，"湘勇召募之初，選擇鄉裏農民有業者多，無根者少。"這裏所說的"農民"，實為居住在農村而非官非紳非儒生的農戶，他們既占有一定產業，自然與無田無地的赤貧(或叫"無根者")有別。這樣的人，升官發財夢比其他人做得更酣，思想中"天地君親師"的封建意識較深，很自然會成為曾國藩組建軍隊的骨幹。王鑫回憶道："前此諸勇，人人踴躍，皆丟棄父母妻子，為國效力，甚至有賣田產、抵押衣服而來者。"這些有田產可賣、有衣服可典的"有業者"的階級地位，必然使他們仇視農民起義軍，而以封建王朝的"良民"自詡。他們投奔至豎起"忠義"大旗的曾國藩的麾下，良不足為怪。其次，湘軍募勇的對象，曾國藩在其手訂的《營規》第一條規定："須擇技藝嫻熟、年輕力壯、樸實而有農夫士氣者為上。其油頭滑麵、市井氣、衙門氣者，概不收用。"他囑咐僚屬道："不取浮滑之輩，而求耕土之類，是為至要!"這是曾國藩的很高明的一著。所謂"油頭滑麵、市井氣、衙門氣者"，確有他們的弱點。但他們久經世故，見識麵較寬，若成為練勇，常常因頗有見解，能說會道，而不易駕馭。"樸實而有農夫士氣者"，一方麵有吃苦耐勞的特點，另一方麵，他們土生土長於一鄉一隅，所聞見者少，所經曆者尤少，隻知當兵吃糧、升官發財，容易成為曾國藩實行愚民政策的對象。所以"儒生領農民"隻是事物的表象。應該說，湘軍是建立在中小地主及與中小地主有密切聯係的儒生和"農民有業者"這個社會基礎之上的，以"忠義"和升官發財這兩種已有很深淵源的思想意識作為精神支柱的，由一批儒生誘惑和愚使農民而形成的地主階級的新式武裝。
曾國藩高度重視軍隊的訓練。在湘軍成立之初，他提出要"輔之以訓練勤"，以改變八旗兵、綠營兵缺乏訓練、無膽技、一觸即潰的弊病。因此，曾國藩特別強調軍隊訓練的重要性和緊迫性，他說：要"練一人收一人的益處，練一月收一月的效果"。曾國藩為了把湘軍訓練成為一支勁旅，一支有膽有技、能征善戰的子弟兵，是不吝花費心血的。曾國藩將湘軍的訓練分為訓教與操練兩種，而以訓教為根本，特別注重思想性的教育。
湘軍的訓教，沒有製成明文頒布，但在曾國藩所著的《勸訓練以禦寇》中有反映。他寫到：
"禁嫖賭，戒遊惰，慎言語，敬尊長，此父兄教子弟之家規也。為營官者，待兵勇如子弟，使人人學好，個個成名，則眾勇感之矣。"
曾國藩以理學家的身份創立湘軍，為此他十分重視義理之教在湘軍中的作用。王守仁曾說過："破山中之賊易，破心中之賊難"的話，曾國藩遂將此一思想運用於治軍上，則可理解為，重視"操練"就是"破山中之賊"的功夫；"訓教"則是"破心中之賊"的功夫。因為"破心中之賊難"所以對於訓教必須下苦功夫。如何訓教，曾國藩將其分為兩個方麵，即官兵與兵民。在官兵方麵，他強調以義理來帶兵。他指出：
"帶兵的方法，用恩不如用仁，用威不如用禮。仁，就是促進人成長、促進人發達。對待士兵像對待子弟一樣，常希望他成長，發達。那麼每人都知曉恩情了。禮，就是所說的不論多少、大小、快慢，偉大而不驕傲。整齊衣冠，遵循禮法，這樣人人敬畏他，有威而不勇猛。再持之以崇敬，麵容嚴肅，無形無聲之中，常有懍然不可侵犯之相，則人人知道他的尊嚴。有這二方麵，即使是蠻野之國，也不愁士兵不可治服了!
在湘軍中，倡導將領以父兄般對待教導士兵，士兵也就視將領為父兄，加之湘軍中客觀存在的親黨鄰裏的血緣和地緣關係，每每在訓教後，均收到勇丁感動得五體投地的效果。