然而，曾國藩在長沙編練湘軍並不是一帆風順的。不久，張亮基、左宗棠、江忠源先後離湘，而署理巡撫潘鋒等不予支持，提督鮑起豹甚至從中作梗，挑動標兵與湘勇仇殺械鬥。一時，長沙城內風波迭起，連曾國藩設在又一村的公館也受到衝擊。這一狀況，直到繼任巡撫駱秉章來了之後才有所改變。
公元1853年7月，太平軍進攻南昌，江忠源要求增援，曾國藩與駱秉章商議派羅澤南領兵三千前往，第一次與太平軍對壘，湘軍損失慘重。這使曾國藩更進一步認識到太平軍遠非一般農民起義軍可比，要戰勝太平軍，必須有足夠的兵力和精良的武器裝備。因此，曾國藩與江忠源商量了練勇萬人的計劃，訓練也更加嚴格，以期練出一支百戰之師。同時，曾國藩感到光有陸師不夠，還必須建立一支水師。公元1853年秋天，編練水師的計劃得到鹹豐皇帝的批準，湘軍規模改為編練水陸各5000人。此後，曾國藩離開長沙，前往衡州練軍。至公元1854年2月，水師、陸師各10營5000人練成，中國近代史上一支最為凶悍的地主武裝便誕生了。湘軍練成之後，立即參與了鎮壓太平天國運動的戰爭。
曾國藩手下的湘軍，以“紮硬寨，打死仗”聞名。他的“多條理、少大言”，“莫問收獲，但問耕耘”之說，被梁啟超譽為“曆百千艱阻而不挫屈；不求近效，銖積寸累，受之以虛，將之以勤，植之以剛，貞之以恒，帥之以誠，勇猛精進，堅苦卓絕”。因此，在與太平天國的戰爭中，湘軍確實不同於驕縱懶惰的綠營和庸碌懦弱的團練，而顯得十分的凶猛強悍。曾國藩還能選拔和任用人才。他善於察言觀色，辨識部下的品質、才能。這一點，在著名的《冰鑒》一書中有詳細的描述。曾國藩提拔了一大批能征善戰的名將，使湘軍最終贏得了這場戰爭的勝利。
湘軍出師德州之後，首先迎戰入湘的太平軍西征部隊。湘軍先敗後勝，接著乘勝追擊，攻占嶽州，從此太平軍勢力退出湖南。公元1854年8月，曾國藩率湘軍主力出省作戰，與太平軍激烈爭奪湖北、江西。
公元1855年，湘軍攻占湖南省城武昌，次年又奪下江西重鎮九江。公元1860年，曾國荃率領湘軍精銳團團包圍安慶，深溝固壘，外拒援軍，內困守敵，經一年多的血戰，終於攻陷安慶，從此太平軍陷入難以挽回的困境。公元1862年，曾國藩指揮湘軍分三路向長江下遊發動進攻。長江以南，為左宗棠率領的楚軍泊江西進浙江；江北，李鴻章組建淮軍，出擊江蘇；曾國荃則率湘軍主力沿江而下，直指天京。終於公元1864年8月（同治三年六月）攻陷天京，將轟轟烈烈的太平天國運動鎮壓了下去。其後，湘軍在清王朝鎮壓北方撚軍和西北回民起義、西南苗民起義的戰爭中殊死作戰，為維護搖搖欲墜的清朝封建統治立下汗馬功勞，而一大批以“書生領兵”起家的將領由此官運亨通，不少人成為清統治集團的重要成員。湘軍的興起，造成了清朝的“同治中興”，也對晚清中國社會產生了極大的影響。
◎ 持家修身之道
作為清朝曆史中最著名的文人，曾國藩有一係列的學術成就，這些成就有些是其領軍、執政的經驗，更廣為人知的則是他在如何識別人才，持家教子，修身養性方麵的獨到見解。
持家教子之術 著名曆史學家鍾書河先生說過，曾國藩教子成功是一個事實，無法抹殺，也無須抹殺。曾國藩認為持家教子主要應注意以下十事：一、勤理家事，嚴明家規。二、盡孝悌，除驕逸。三、“以習勞苦為第一要義”。四、居家之道，不可有餘財。五、聯姻“不必定富室名門”。六、家事忌奢華，尚儉。七、治家八字：考、寶、早、掃、書、蔬、魚、豬。八、親戚交往宜重情輕物。九、不可厭倦家常瑣事。十、擇良師以求教。曾國藩在教子方麵有三個方麵給人啟迪：
教育子孫讀書的目的在於明白事理。他致力於培養孩子們讀書的興趣，注意觀察他們的天賦、潛能，在此基礎上再進行培養、塑造。他認為一個人隻要身體好，能吟詩作文，能夠明白、通曉事理，就能有所作為，就不愁沒有飯吃，就會受到人們的尊敬。他認為當官是一陣子的事，做人是一輩子的事；官銜的大小不取決於自己，而學問的多寡則主要取決於自己。