李鴻章賭氣離開曾國藩祁門大營，原本計劃直接投奔江西南昌大哥李瀚章處，老大哥在那裏為曾國藩辦理湘軍後路糧台。可是這麼去，少不得被大哥埋怨。他想起湖北巡撫胡林翼，兩人見過一麵，胡林翼對李鴻章印象很好，也一直關心李鴻章，所以不如先到他大營。一則聽聽他的意見，二則實在不行，投在胡林翼門下也未嚐不可。胡林翼人很通達，不像曾國藩這樣固執。說起性格來，李鴻章與胡林翼更相投一些。
那時候胡林翼已經從湖北的英山向東南移營到安徽境內的太湖。之所以移營此處，主要是曾國藩大營從宿鬆撤走後，鄂皖交界兵力空虛，那時候曾國荃的湘軍正在圍攻安慶，李續宜率湘軍攻打皖北桐城，皖鄂交界作為後路，必須有所兼顧。胡林翼與曾國藩都是湘軍創始人，多年來兩人互相關照，互相扶持，曾、胡一家，不分彼此，天下盡知。收複安慶、規複安徽的全盤部署，也是兩人相商的結果，所以胡林翼毫無畛域之分，一切以戰局需要來確定行止。
李鴻章趕過去的時候，胡林翼到太湖不及一月。一見到胡林翼，最令李鴻章驚訝的是胡林翼的消瘦，顴骨高聳，臉頰細長，臉色灰暗，他立即想到“病入膏肓”這個詞。胡林翼發覺了李鴻章的驚訝，苦苦一笑說：“少荃，是被我這副病瘓子嚇到了吧？沒辦法的事，天天東牆倒西牆歪，不得一日喘息。”
李鴻章見胡林翼身體如此，心裏十分難過，還要裝出不動聲色，說：“潤帥要保重身體，現在這種亂世，棘手的事沒個完，潤帥總要忙裏偷閑，稍作休息才行。”
胡林翼已經接到曾國藩的私函，知道李鴻章賭氣出走的原因，所以他沒繞彎子，直接勸李鴻章還是回到曾國藩身邊。
“祁門是兵家所謂絕地，根本不宜駐守，更不宜做大營，可是他聽不進別人的一句勸!我不回去。”李鴻章還是一肚子氣，把祁門的情形詳細描述給胡林翼。
“滌帥非要紮營祁門，並非不知道這裏是絕地，”胡林翼也覺得曾國藩駐紮祁門是一大失策，但他不能順著李鴻章的意思說，那不是勸人之道，“滌帥之所駐紮祁門，也是顧慮朝廷臉麵。朝廷一再督促滌帥收複浙江，駐軍徽州，就是做出一個收複浙江的樣子。”
“好，就算駐紮祁門有他的苦衷，那麼參劾李次青，就太不近人情。兩人那算得上患難之交，怎麼說變臉就變臉？要我起草奏折參劾次青，我萬萬做不到。”李鴻章氣憤難平，“我原來以為他是豪傑之士，沒想到……”他本來要說沒想到會這樣小肚雞腸，可覺得這樣評價老師太有傷體統，因此改口說，“現在看起來，並非如此。”
“徽州那是祁門的東大門，次青不是不知道徽州的重要，徽州失守，導致祁門陷於絕地，不要說滌帥，就是我也會生次青的氣!”胡林翼說，“滌帥如今總督兩江，身係天下安危，祁門危急，這些天我是夜不能寐!少荃，你應該體諒滌帥的處境!”
胡林翼一味回護曾國藩，讓李鴻章無話可說，見胡林翼連連咳嗽，也就不再與他爭執，勸道：“潤帥，你可要保重身體，你和滌師都是湘軍柱石，同樣身係天下安危。”
“少荃，你剛趕過來，一路勞苦，先休息幾天再說。即來之則安之，咱們慢慢談。”胡林翼希望李鴻章能夠回心轉意，打道回祁門。
當天晚上，胡林翼安排豐盛的晚宴，並請了幕府中幾個心腹來陪李鴻章。
第二天處理完營務，胡林翼打發人約李鴻章閑談。胡林翼剛要開口，李鴻章就說：“潤帥勸我回祁門的話就不要說了，我昨天晚上想了一夜，覺得我沒有錯，駐軍祁門就是失策，參劾李次青就是無情。既然我認為對，我老師認為錯，那我回去何益？我天天盼望的，是像老九那樣，帶上一隊人馬，真刀*的幹。總把我按在文案堆裏，有什麼意思？”