廬州民眾夾道觀看，人們從來沒有見過這樣的排場，似乎比之大清巡撫、總督出巡也要奢侈、威風得多。當時目擊者就記錄了這樣的場麵。
廬州之戰，太平軍也遭到不小損失，也許是這個原因，石達開從天京、安慶抽調了若幹得力幹部前來補充，如在安慶巡查民務和帶兵的殿右二十指揮李秀成，當時叫李壽成，就是這時派往廬州的。
廬州是兵家必爭之地。半年後見於清江南大營和春等軍圍攻廬州，楊秀清派夏官又正丞相周勝坤和秋官副丞相陳宗勝率軍來援。胡以晃因治軍不力，又丟掉了廬州西邊的六安州，被削去豫王爵，調離廬州，發在石達開麾下聽用。
1855年3月，清軍和春等部反撲廬州，陳宗勝戰死。廬州圍急，太平天國幾次派出援軍，石達開、陳玉成也曾先後前來解圍，未能奏效。同年10月，潛伏在城裏的士紳打開城門接應，廬州陷落。
曾天養跨上黑馬，手執長矛，直衝塔齊布而來，塔齊布來不及遮擋，被一矛刺中坐馬。
1854年，西征軍韋誌俊、石祥楨部鏖戰武昌城下，久攻不克，就分軍向湖南挺進，開辟第二戰場。
湖南戰場上，他們遇到了強大的對手，即曾國藩新建的湘軍水陸師。
進入湖南的西征軍的兩支主力部隊：春官又副丞相林紹璋的前軍；國宗石祥楨的後軍。
凱歌行進。開始，兩軍旗開得勝，馬到成功。2月27日，林紹璋部占領嶽州，西渡洞庭，攻占湘陰，於是溯湘江而下，攻占僅離省城長沙六十裏的靖港、新康。長沙城門緊閉，進入一級戰備緊急狀態。3月11日，西征軍攻占長沙城西寧鄉，他們的戰略是占據長沙周邊城鎮而後全麵圍攻長沙。當時曾國藩新編的湘軍已北上，因寧鄉失陷趕來反撲，西征軍失敗，北撤。曾國藩派王鑫、塔齊布等追擊，取湘陰、嶽州。
湘軍初戰獲勝，得意之至，豈料西征軍退出嶽州後，即調動第二梯隊，大舉反攻。4月4日，在湘鄂邊境的羊樓司與乘勝北上的湘軍王鑫軍相遇，湘軍敗潰，王鑫及曾國葆等部均退入嶽州城。他軍因城空無糧均離城它去，王鑫部獨留城中，後果然缺糧而人心混亂，王鑫急縋城逃走。西征軍再占嶽州。
西征軍繼續南下。4月22日，再次占領靖港。他們仍采取一個月前的陳規舊例，由石祥楨率水師守靖港，林紹璋率陸師南下，以攻取長沙周邊衛星城市孤立長沙。4月24日，林紹璋軍在寧鄉大破湘軍三營，攻占湘潭和株洲淥口。即在湘潭城外修築防禦工事，築壘自固，並在湘江上遊水麵麇集幾十艘民船建立了木城，阻擊援軍。
形勢大好。長沙已陷入太平軍的南北圍攻中。
曾國藩調兵遣將，他以塔齊布、王鑫等湘軍水陸師主力攻湘潭，自引水師攻靖港作為牽製。
4月25日，塔齊布等部來到湘潭戰場。
4月26日，林紹璋部主動出擊，失敗。
4月27日，湘軍水陸並進。西征軍水師先敗。陸軍擺開陣勢迎戰。此時，統率陸師的參將塔齊布，身先士卒，獨自馳馬陷陣，湘軍將士隨之跟著衝鋒。太平軍與敵多年鏖戰，卻從未見有敢於短兵相接、作肉搏戰的清軍，不禁驚愕，後隊忽然望見周圍山岡出現不少肩挑的行人，心理負擔更為沉重，以為湘軍大至，就先撤走；前軍也退，相互擁擠、踐踏，湘軍大聲呼喊殺敵，山岡上的行人也相呼應，太平軍不戰而潰，湘軍乘勢追至城下。
4月28日，西征軍水師在湘江水麵被焚毀百餘艘。
4月29日，西征軍陸師又敗。林紹璋收隊回城時，廣西籍老兄弟和兩湖籍兄弟因戰爭失利、互相指責，五十步笑百步，竟引起械鬥，自相殘殺，死去幾百人。
4月30日，西征軍水師又在湘江水麵被焚毀幾百艘船隻。
5月1日，林紹璋放棄湘潭，北走。
五天戰鬥，林紹璋五戰五敗，據稱將士陣亡超過萬人。這是太平軍自金田起義後最大的一次潰敗。也是湘軍創建後首次大捷。湘軍就此聲名遠揚，士氣振奮，始為朝廷器重，且作為正規軍由內線轉入外線作戰。
湘潭之戰，主要是林紹璋不懂得打仗，不會管束將士。當時從雙方實力比較，太平軍是處於上風，完全有把握打敗湘軍、攻占長沙的。這一仗如果打得好，剛籌建的湘軍很有可能在萌芽時就被拔掉。
這一仗，為曾國藩出山撈到了一筆極大的政治賭注。他由是對林紹璋其人記憶猶新，十年後，他還和被俘的李秀成談及“林紹璋於鹹豐四年在湘潭戰敗，其人並無本領。”
太平天國自此之後，再也無力進圖湖南。
因此後來李秀成總結失敗教訓，把它列為“天朝十誤”之一，說，“誤不應發林紹璋去湘潭，此時林紹璋在湘潭全軍敗盡”。