時值太平軍勢如破竹，進軍湖南、湖北，清廷上下震動。於是，禦史王發桂上疏推薦胡林翼，說他“捕盜鋤奸，有膽有識，平日訓練壯勇，仿戚繼光成法而變通之。勇不滿三百，銳健果敢，一可當十。搜剿匪徒於深山密箐中，與士卒同甘苦。所著《保甲團練條約》及《團練必要》諸篇，行之均有成效，曆任督撫深為倚重。倘蒙聖恩逾格畀以重任，留於湖北帶兵剿賊，可期得力。”
後經允準，胡林翼遂提兵進入兩湖戰場，開始其“中興名臣”的戎馬生涯。在與太平軍作戰中，胡林翼多次運用“圍城打援”的戰術，打敗石達開和陳玉成，其中最大的勝利莫如收複武昌。後來的安慶之戰也是因為采納他的策略而取得成功的。
太平軍來勢洶洶，於1853年1月攻克武昌，太平軍人數增至五十萬，清廷驚慌不已。1854年4月，清王朝就把胡林翼調至湖北任巡撫，他帶領湘軍連續作戰，連連獲勝，扭轉了當時的被動局麵。他的名聲，在江南大震。湘軍在胡林翼的手上發展迅猛。在他擔任湖北巡撫以前，湘軍隻有不到兩萬人。而自從他在湖北開始編練部隊以後，四年時間裏，湘軍部隊的總數增加到了七萬多人，遠遠超過了過去曾國藩所統率的部隊規模。
胡林翼與曾國藩的關係十分融洽，不僅與他隨時協商軍事部署，源源不斷地提供餉銀，還為曾國藩的複出，為其謀求地方實職一再上奏朝廷。1857年，曾國藩被剝奪了兵權，困守湖南老家。如果不是胡林翼極力向朝廷爭取重新起用曾國藩，也許這位湘軍的領袖就在湖南那個偏僻的鄉村裏慢慢度過自己的餘生了。
胡林翼比曾國藩小一歲，成名卻早於曾國藩，世人並稱“曾胡”。他先於曾國藩成為封疆大吏，並且曾國藩後來所任的兩江總督一職本來鹹豐帝是準備授給胡林翼的，然肅順提議說：“胡林翼在湖北措注盡善，未可挪動，不如用曾國藩督兩江，則上下遊俱得人矣。”鹹豐帝稱善，遂如其議（薛福成：《庸庵筆記》卷一）。二人相比，論學問，胡不如曾，論處世，曾不如胡。
胡林翼馳騁官場很有過人之處。任湖北巡撫期間，令他最頭痛的問題是如何處理與湖廣總督官文的關係。當時大多數地方的督、撫都是互不買賬，明爭暗鬥，互使絆子，不是你參我，就是我整你，大大影響辦事效率。這是清代地方政府的痼疾。胡林翼以大局為重，主動與官文修和。
官文是滿洲正白旗人，出身軍人世家。此人驕悍昏庸，名為總督，實則是朝廷派到湖廣監視漢官的耳目。不久，官文極為寵愛的六姨太要過生日，總督府向武昌官場大發請柬，要為姨太太熱鬧一番。可按漢人規矩，同僚屬官們給總督太太拜壽，沒的話說；為總督小妾慶祝生日，則是有失體麵，再說湖北司道府縣大部分官員平日對官文都無好感，所以，許多官員都托辭不來，或觀望猶豫。生日這天，日上三竿了，總督府還冷冷清清。官文急得團團轉，六姨太也尋死覓活的。這時候，胡林翼來了，不僅儀仗整齊，他還帶來了老母親和夫人，以太太之禮，給官文姨太太送了一份厚禮。他這一帶頭，那些觀望的和不準備來的官員也都紛紛跟著來捧場，這位六姨太心下自然十分感激胡林翼的俠義救場。宴席上，胡老太太及胡夫人盡挑些好聽的話恭維六姨太，六姨太喜得合不上嘴。六姨太出身貧賤，自幼喪母，見胡老太太這樣喜歡她，便認胡老太太為母。老太太欣然應允，又叫她拜見了兄長胡林翼。從那以後，六姨太常常在枕邊吹風，說胡家母子的千好萬好，並說，現在兩家認了親，就是一家人了，就不要再為難義兄胡林翼了。官文對這個嬌媚聰慧的六姨太向來是百依百順，果然從此再不給胡林翼使絆子了。
不僅如此，胡林翼每次起草請功奏折時，總把總督的名字寫在第一位。這把官文弄得樂滋滋的。這樣，官文當起了甩手掌櫃，軍政大事，全付與胡林翼去辦理，他隻在公文上畫諾而已。胡林翼則放開手腳大幹起來，積極整頓吏治，增加稅收，革除田賦積弊，剿滅盜賊，募勇練兵。湖北當時督撫關係之和睦，為全國之首。當時，由於與官文的關係好，湖北的軍政實權都在胡林翼的手裏。