曾國藩還沒有高興幾天，從東邊北邊又連連傳來豐城、進賢、安仁、萬年失守的消息。原來，向榮江南大營圍攻天京，石達開奉天王洪秀全之命，率部出江西，取道皖南返回天京解圍，故一夜之間全部撤離南昌。石達開走後，江西軍務先由翼貴丈黃玉昆、後由北王韋昌輝主持，相繼攻克撫州府和饒州府。到鹹豐六年六月，江西十三府有九府掌握在太平軍手中，形成了一片比較鞏固的天國統治區。這九府是：九江、臨江、袁州、吉安、撫州、建昌、瑞州、南康和饒州。曾國藩在江西處於危困的頂點。
在最困難的時候，曾氏三兄弟密謀籌建曾家軍
曾國藩瞅著太平軍一個空子，又把南康奪回來了。他吸取過去在長沙與湖南官場不合的教訓，湘勇老營仍設在南康，盡量離官場中心遠一點。就在曾國藩接連吃敗仗的時候，九弟國荃卻乘著石達開大軍撤離江西的機會，一進江西，便攻占了安福縣。首次帶勇出省便攻下城池，這給一向心高誌大、辦事果決的曾國荃以極大的信心，也給屢敗中的曾國藩帶來希望。他有許多事要跟九弟商量，派人來到安福，叫國荃立即到南康去。
曾國荃今年三十二歲，除開眼睛細長和肩膀單瘦外，其他無一處不酷肖大哥。他十七歲時跟著父親進京，在大哥家一住三年，終因不能接受大哥嚴謹規範的家教而回到荷葉塘。他渴望像大哥那樣年輕高中，步步高升，卻又不能像大哥那樣刻苦攻讀，看著別人一個個進學中舉、升官發財，自己卻一次又一次地落榜，急得兩眼發紅。二十七歲那年，好容易才中了個秀才。去年，湖南學使特意賞他一個優貢，曾麟書為此在荷葉塘擺了三天酒慶賀。這個外表單薄文弱的書生，為人辦事卻異乎尋常地倔強凶狠。八歲那年，大哥曾國藩還未中秀才，曾家在荷葉塘並無權勢。國荃喂養的一隻心愛的小狗，被鄰家的牯牛踩死了，他失聲痛哭，從廚房裏拿了一把柴刀，背著人磨得鋒快。他持刀跑到鄰人家門口，聲言若不賠他的狗，就要殺死鄰人家的牛。鄰人不理睬他，他便坐在那人的門口，一坐就是一整天，任何人也拖不回。直到半夜，鄰人真怕這個強伢子殺了他的牛，隻好賠了一隻小狗罷休。這兩年，曾國荃眼睜睜地看到湘勇在外打勝仗、發洋財，心裏早就羨慕死了，一再寫信給大哥，要到軍營來殺賊立功。自從大哥要他在家募勇後，便和國華一人招募一千勇丁，日夜勤練，決心拋掉“四書五經”，走上戰場立軍功之路。幾個月前，一則因為妻子難產，二則見勇丁尚未練好，他有意暫不出山。這次進江西，曾國藩指示他改道援吉安。他以下吉安為由，將原一千勇丁和臨時擴招的一千勇丁改編為四營，分別命名為前、後、左、右營，都以吉字為頭，他覺得兆頭很好。果然給他碰上了好機會，太平軍安福守將韋有房是個粗魯貪杯的漢子，平時待兵士苛嚴。攻下安福後，他為了表示對兄弟們的獎賞，讓他們開懷痛飲三天，自己更是天天爛醉如泥。他隻知道曾國藩的軍隊在北麵，做夢也沒想到，曾國荃的吉字營從西邊攻來。吉字營的勇丁急著要發財，都猛衝猛打不怕死，城裏的守軍是人人兩腿軟綿綿，兩眼紅通通，交戰不到半個時辰，安福城便易了主。曾國荃將安福城裏一切可以動用的財產，全部賞給吉字營的兄弟們，自己一匹快馬，帶了幾個侍從，匆匆趕到南康。
又有兩年未見麵了，今日見到首戰告捷的九弟，曾國藩喜不自勝，國華也聞訊趕來。吃過晚飯後，兄弟三人秉燭夜談，分外親切。
國荃將這次攻占安福的戰事，繪聲繪色地對兩個哥哥演說了一通。曾國藩邊聽邊驚訝不已，想不到九弟還是個將才！打虎還靠親兄弟。真正靠得住的，還是自己的親弟弟。日後再把國葆叫出來，自己運籌帷幄，三個弟弟各領一支軍隊，這不就是曾家軍了嗎？曾國藩將九弟著實稱讚了一番後說：“沅甫有識見，有一次信裏明白跟我說，現在湘勇主力是羅山的人，要盡早建立自己的嫡係。過去我總想，大家以誠相待，目的在剪滅長毛，管他誰的人都一樣，若在湘勇中建嫡係，便是自己先不誠了。這兩年，先是璞山瞞著我，叫兩個弟弟在湘鄉募勇，後又是次青公開提出擴大平江勇，連羅山那樣的誌誠君子，也要率部離贛去鄂。雖說援鄂可以阻擋長毛進犯湖南，但我知羅山內心裏是怕跟著我困在江西，立不了功。我遍視湘勇諸將官，除雪琴外，人人心裏都有自己一把小算盤。眼下湘勇勢力還不大，日後勝仗打多了，諸將功勞大了，人馬擴充了，一定有尾大不掉的一天到來。”說罷，輕輕地歎了一口氣。
沅甫說：“大哥顧慮的是，天下事，先下手為強。現在羅山已死，璞山在湖南，羅山原來的一支人馬，就隻有迪庵在湖北的那幾千人了。鮑超粗直，是大哥一手提拔的，諒必他日後不敢與大哥作對。周鳳山是綠營的人，不會跟我們始終一條心。依我看，塔提督留下的人，就幹脆讓春霆統帶算了。”