曾國藩以為李無度十有*已經陣亡，所以那些天十分難過，在向朝廷報告徽州失守的情形中，不免虛構了李元度苦守徽州的事跡，這是為將來請恤做個鋪墊。誰料發折的當天下午，曾國藩收到了李元度的親筆信。原來李元度不但沒有死，而且一氣逃到了浙江境內。守城主將必須與城共存亡，李元度棄城而走，大節已虧。而他在信中全是指責綠營兵的不是，對自己部署的失誤毫無反思，這讓曾國藩非常氣惱。更讓曾國藩憤恨的時，徽州失守，祁門東門洞開，李侍賢派了三路大軍直撲祁門，祁門可資防守者，隻有東北羊棧嶺和東部的尚梓嶺。這兩座山嶺離祁門不過三四十裏，一旦失守，祁門必失。兩嶺天天槍炮聲不斷，曾國藩因此是夜不能寐，日不安食。他幕府裏的那些文人，更是心驚膽顫，有的人悄悄收拾好行裝，隨時準備逃跑。曾國藩一想到這一切都是徽州失守造成，一想到李元度竟然隻守一個晝夜就棄城而走，恨的咬牙切齒，也深悔自己用人不當。
就在這個時候，李元度竟然兩手空空回到祁門大營。他趕到時已經是晚上，沒敢直接去見曾國藩，而是到李鴻章的住處，先打探一下消息。
“徽州失守，祁門東大門洞開，李長毛的大軍正在圍攻祁門，情形你也看到了，真是危險萬狀，人心不安，老師正在氣頭上。”李鴻章如實相告。
“徽州形勢，難以久守，就是神仙，也無力回天。”李元度這樣總結徽州失守。他告訴李鴻章，副都禦使張芾守徽州五年，養了兩萬綠營兵，糧餉全靠當地，不免竭澤而漁，徽州民財搜刮一空，結果今年已經有五個多月沒有發餉。士兵自然要鬧餉，一萬四千兵不僅不可依賴，反而是個隨時爆炸的火藥桶。李元度到徽州，對帶頭鬧餉的強硬鎮壓，結果與綠營鬧的勢不兩立。所以長毛一到，不要說用他們來苦戰，反而有人投向長毛，做了向導。長毛兵臨城下後，又是綠營先打開城門逃跑，結果讓長毛趁機攻進城來。至於徽州的城防，女牆都已塌廢，西門更是連門垛也已塌毀。他趕到後趕緊修築，還沒來得及修完，長毛就兵臨城下了。所以固守待援，純粹是空話。他之所以要帶兵出城殺敵，是想以攻為守。
第二天吃過早飯，李鴻章陪著李元度去見曾國藩。曾國藩沒有好臉色，李元度還是拿昨天給李鴻章的說辭說給曾國藩，在曾國藩看來，這全是推托之詞，所以他厲聲責問：“你一怪綠營，二怪城池不固，你自己難倒就沒有不妥之處？”
李元度回答：“我去徽州後，殺了十幾鬧餉的，雖然鎮住了鬧餉的毛病，但卻與綠營鬧得更加不睦，以至平江勇與綠營不能一條心守城。這是最大的失誤。”
要嚴厲鎮壓鬧餉者，這是曾國藩的要求，李元度這樣說，無異於把責任推到曾國藩的頭上，所以曾國藩立即打斷他的話說：“帶兵總要恩威並用，凡事都有適度。殺幾個鬧餉的兵油子，總不至於導致徽州失守，你這是避重就輕。”
李元度也覺得一肚子委屈，見曾國藩一點也不體諒，賭氣說：“勝敗乃兵家常事，我哪裏摔倒哪裏站起來，我這就回平江，募勇八千，再上陣殺敵。”
曾國藩說：“勝敗乃兵家常事不錯，可是不善於總結教訓，恐怕還是敗多勝少。”
李元度書生意氣風發，回敬說：“大帥也有靖港之敗，不是照樣敗而不餒？”
靖港之敗是曾國藩的恥辱，李元度這樣說，幾近揭人瘡疤。曾國藩這幾日憂心如焚，李元度又如此不知反省，他再好的克已功夫，此時也不能按捺，指著門外說：“我不和不知廉恥的人廢話。”