胡林翼明白，李鴻章是怪曾國藩不肯讓他獨擋一麵。“少荃，你這就錯怪滌帥了。你剛入滌帥幕府，滌帥就推薦你去帶領馬隊，是你覺得沒有把握，最終沒有成行。前些時候，滌帥又舉薦你創辦淮揚水師，就是打算讓你獨擋一麵，創出一份場麵出來，可是朝廷未準，那又如何能怪得了滌帥？”
這話的確不假，李鴻章無可辯駁，他說：“老九當年投奔潤帥，潤帥立即撥給他三千人馬，潤帥如果給我三千人馬，我立即披掛上陣，為潤帥當先鋒、斷後路，無一不可。甚至我可以帶兵去救祁門。”李鴻章終於說出他有意投奔的想法。
“這絕對做不到。”胡林翼很幹脆的拒絕，李鴻章賭氣離開曾幕，他再收留在自己幕中，豈不是挖曾國藩牆角？以後怎麼與曾國藩麵對？這種糊塗事，胡林翼萬萬不能做，但他說出來的理由，是另一個說法，“少荃，如今我營中，最缺的就是兵，你知道武昌還有多少人馬嗎？隻有兩千人!那可是湖北的根本!如今的兵勇，都集中在安慶周圍，又要圍攻安慶，又要圍點打援，又要兼顧後路，哪裏挪得出三千人馬？”
聽胡林翼如此說，李鴻章十分失望。
胡林翼看李鴻章那一臉失望和茫然，於心不安，推心置腹說：“少荃，沒有兵是一方麵，就是有兵，我也不能把你收在帳下。你將來前途遠在我之上，我這小小的巡撫衙門，不敢委屈了你。少荃你記住我一句話，將來你定會有番大作為，必有大富貴，但你千萬不能離開滌帥，滌帥是你命中的貴人，隻有滌帥能夠提攜你成就大業!少荃你試看今日天下，今日之督撫，可有一人能與滌帥匹敵？”
這話又是大實話，李鴻章不得不承認，曾國藩的確已經是天下督撫之首。就是向稱天下第一總督的直隸，也無法與之相比，因為如今的兩江，關乎著社稷安危。
“少荃，我以老大哥的身份，把你當小老弟相勸。人有本事這是一方麵，跟對人是更重要的一方麵。你投筆從戎，在皖省團練中拚殺五六年，鬱鬱不得誌，不是你沒有才幹，而是所事非人。你拿那些大員與滌帥相比，無論道德文章、識人之明，還是運籌帷幄，誰人可與滌帥比肩？”
這又是大實話，李鴻章嘴角是不以為然的表情，但心裏不能不承認，天下大勢，的確如此。但一想起曾國藩的固執無情，特別是他瞪起三角眼，指著門讓李鴻章走的神情，李鴻章心裏的火就一跳一跳。胡林翼見李鴻章油鹽不進，也就不再勸他，隻管好酒好菜侍侯。
李鴻章投奔胡林翼的計劃完全落空，而且就是胡林翼肯收留，他身體如此，隻怕陽壽無多，他投胡幕還有什麼意思？既然不能投奔胡幕，再呆在太湖也沒意思，所以他就告辭，去南昌投奔大哥李瀚章。胡林翼也不阻攔，臨別贈銀一百兩。李鴻章要推辭，胡林翼說：“熟不拘禮，少荃不必固辭。千裏迢迢，路上花錢的時候多，俗話說，在家十日窮，出門一日富。我還是再勸你一句，不要嫌我羅索，還是早日回到滌帥幕中。我已經去信滌帥，勸他移師東流。”