曾國藩於鹹豐二年底上折奏陳辦理團練情形，曾國藩痛切指出綠營兵缺少訓練，膽怯、散漫等弊病。他組訓練勇，乃針對綠營積弊，力求改革。同時上一奏片，聲明他的責任，隻以辦理團練為限，一俟團務稍有頭緒，仍當還家守製。曾國藩所以如此，一來他以一個在籍侍郎，過問家鄉軍、政事務，無權而有責，吃力而不易討好，二來帶兵打仗，不是自己的專長，弄得不好，很可能造成身敗名裂，貽禍子孫的不幸後果。所以曾國藩當初的確無意在軍功上求出路，更不曾夢想到會走出湖南去打太平軍。可是後來的事實發展，卻一步一步驅使他身不由己地走上了軍事統帥的道路。
湖南地方和其他各省一樣，由於地方官的掩飾彌縫，乃致到處布滿了反抗清政府的團會和散兵遊勇，地方治安壞到極點。小至白晝搶劫，大至攻破城池，焚掠官署，變故層出不窮。他們占據山嶺險阻，構築工事，官兵簡直是莫可奈何。如徵義堂、哥老會、串子會、紅黑會、半邊錢會、一股香會、天地會等，是比較有名的一些團體，至於其他秘密會社，則多至不可數計。太平軍初到湖南時，便有成千上萬的會黨徒眾，加入合流，使太平軍聲勢更盛。
湖南三麵環山，山區數十州縣，尤其是各種會黨活躍的區域。曾國藩運用團練、保甲等組織，稽拿會黨成員，以他新定章程訓練出來的鄉勇，對付有組織規模的反政府武力。
他在長沙城內魚塘口設立了一所行轅（司令部），專辦全省團練，肅清地方事宜。又創設了一所”審案局“,專門審辦各地緝解來省的不良分子。
曾國藩生平以儒者自許的一個老翰林，胡子粗粗的，指甲長長的，腰背彎彎的，走路拖拖的，平生不會騎馬，不善刀矛，走起路來，連螞蟻也怕踩死一隻。可是他在懲辦”盜匪“、維護地方治安的工作上，卻完全是一副行家裏手的作風。
他鑒於以往的地方官過於怠惰畏事，往往積案不辦，坐致良莠不分，罪犯逍遙法外，橫行無忌，於是主張”治亂世，用重典“,以嚴刑峻罰來痛懲不法分子。
曾國藩對付個別民眾和小股會黨反抗活動的政策是”就地正法“.其具體辦法是令各地團練頭子直接捕殺和捆送形跡可疑、眉眼不順之人，或批令各縣就地處決，或送往省城交他訊辦。
當時政局動蕩，天下大亂，一般地主富戶都不敢公開同貧民、會黨作對，各地肯於出麵辦理團練的，多是占據一方的土豪劣紳。他們平時稱霸鄉裏，一旦辦起團練，就更是有恃無恐，成為當地的土皇帝。他們所糾集的烏合之眾殘忍嗜殺有過於清朝的正規軍。所以，曾國藩說”以之禦粵匪則仍不足“,”以之防土匪則已有餘“.
曾國藩為了迅速地把各地農民的反抗活動鎮壓下去，就大張紳權，用以對付貧苦農民和會黨群眾，並美其名曰”借一方之良，鋤一方之莠“.曾國藩還提倡以本鄉、本族之紳捕殺和捆送本鄉、本族敢於反抗之民，”輕則治以家刑，重則置之死地“,處治大權盡歸團長、族長掌握。這樣既了解情況，又可避免引起鄉村或宗族間的爭鬥。
開始時，曾國藩與張亮基商定，各地團練頭子抓到會黨群眾捆送省城者，概交湖南首縣善化縣審理。後來曾國藩嫌其殺人不多、不快，便在團練大臣公館設立審案局，甚至已經送到善化縣的人，也要強行提來殺掉。
曾國藩早就對清朝地方官吏腐敗無能深懷不滿，更不信任承辦案件的胥隸、書役人員，決心於司法機關之外設置新的機構，自行審案殺人。他將過去衙門辦案的”一切勘轉之文，解犯之費，都行省去，寬以處分，假以便宜“,為這些惡棍捕殺和捆送農民大開方便之門。
同時，對被捆送者的處置，既不依照法律條文，也不需任何證據，唯土豪劣紳們的言詞和要求為據，稍加訊問，立即結案，重則砍頭，輕則杖斃，最輕的也要鞭之千百，瘐死獄中。
總之，曾國藩的審案局就是閻王殿，土豪劣紳猶如無常鬼，凡是被各地團練頭子捆送審案局的人，就休想活著回去。據曾國藩自己奏稱，僅四個月的時間內，審案局就直接殺人一百三十七名，其中”立予正法“者一百零四名，”立斃杖下“者二名，”監斃獄中“者三十一名。曾國藩批令各縣就地處死者和後來捕捉的串子會群眾九十二名尚不在其內。他自己後來承認殺了二百多人，實際當大大超過此數。
曾國藩所以采用這種非常手段對付敢於起來進行反抗的農民群眾，不外這樣幾個目的：
①製造白色恐怖，使當地群眾不敢接近太平軍。當曾國藩聽說江西百姓紛紛歡迎太平軍，並以糧食、用品相接濟時，恨得咬牙切齒地說：”賊若侵犯楚疆，敢有亂民效彼之為，吾縱不能剿賊必先剿洗此輩。“
他認為隻有使民畏我遠過於畏賊，才能達到孤立太平軍的目的。這樣，即使有一天太平軍打進湖南，得不到當地群眾的支持，也就無所作為了。