但是，皇上已經知道了曾國藩駐紮祁門的事情，如果輕易改變，既有欺蒙之嫌，對於兩江總督至高無上的威嚴也是一種損害，而且大敵當前，忽移大帳，恐擾亂軍心，斷不可立即移師他處，因而雖然曾國藩也深感此地甚險，卻還是執意不動，堅守不移。對於幕僚們不停的勸告，他甚至有些惱怒：“諸君如膽怯，可各散去。”幕僚們也不好再勸，隻能聽他的。
曾國藩集結在祁門附近的部隊，有鮑超一軍六千人，朱品隆和唐義訓部兩千人，楊鎮魁部一千人，以及從湖南調來的張運蘭部四千人，共計一萬三千餘人，兵力遠少於在皖南的太平軍。而此時在他身邊的僅有三千人，因此，祁門大營中的人免不了一夕三驚。
曾國藩仔細研究後發現，要保祈門，必先守住祈門東麵的徽州城。隻要守住徽州，就扼住了陸路的咽喉，太平軍不能從官道來襲，可保祈門安穩無虞。於是曾國藩派了自己頗為信任的李元度去守徽州。
李元度和曾國藩的交情不一般。曾國藩組建湘軍跟太平軍作戰的初期遭受多次打擊的時候，李元度就一直伴其左右。從鹹豐四年到鹹豐十年這六年是曾國藩一生中的低穀時期，身陷困境，但李元度始終不離不棄，與曾國藩一起吃苦，度過了這段艱難歲月。
對於當時長期陷在困境裏的曾國藩來說，李元度的這種支持與忠誠比什麼都要可貴，因此，曾國藩對李元度是非常感激的。李元度很有才華，特別擅長詩詞曲賦與對對子，有“神對李”之稱。他所寫的《國朝先正事略》，曾國藩評價道：“當時的學者之中沒有一個人能寫出這樣的巨著，這部書一定會風行海內，傳之不朽。”曾國藩是非常欣賞和信任李元度的。
但偏偏是這個曾國藩最信任的李元度，冒進蠻幹，好大喜功，守城不到一天，就把徽州丟了！
八月二十五日，太平軍十餘萬人把徽州城圍得嚴嚴實實，並趁夜色對徽州城發起猛攻。李元度眼看無法守住徽州城，便隻好帶著一幫殘兵敗將逃離了徽州城。羞懼交並之下，竟不敢回祁門複命，而在外遊蕩一個多月。曾國藩聞訊大驚，憂恨交加，整晚難以成眠。既恨李元度的不爭氣，更憂祈門將會陷入危困之中。他知道，又一次危險來了。
徽州被攻陷後，兵分三路的十幾萬太平軍長驅直入，直撲祁門大營，祁門因此斷了糧草，並且與外界失去了聯係。當時祈門大營隻有兩千多名守兵守衛，另有一萬多官兵都是打了敗仗而退下來的。外無援兵可求，內無守兵可派，兩江總督成了真正的甕中之鱉，情勢異常凶險，幾無活命的可能。
除了有城邊的櫸根嶺和羊棧嶺兩座山嶺可以賴以防衛之外，祈門已經沒有其他的屏障了。此兩嶺離縣城極近，如果這兩個地方被攻破，那麼祁門也就守不住了。
曾國藩在總督衙門，經常能夠真真切切地聽到從櫸根嶺和羊棧嶺上傳來的槍炮聲。太平軍的救援部隊又把前來援救的各路部隊完全擋在外圍，因此曾國藩感到十分焦急。好在守衛櫸根嶺和羊棧嶺的張運蘭部依靠所占據的地理優勢拚死抵抗，所以，太平軍一時之間還不能把這兩個地方攻下來。而一旦突破這兩個守地，祈門也就不存在了。
曾國藩身邊的幕僚，勸他盡快從祁門撤退出去，太平軍大軍已經攻到離祈門二十裏遠的山嶺前。但此時此刻，一個兩江總督又怎能從戰場上逃走呢？
曾國藩身上那種不怕死、不怕輸的勁頭又來了，死又如何？為國盡忠，死得其所，逃走才是真正的有辱聲名，貽笑千年。這樣一想，曾國藩反倒安定下來，每天還是按部就班地辦公，不過是暗暗準備好了寶劍，隻等祈門營破就舉劍殉國。
但是，曾國藩命不該絕，正當最危急之時，湘軍另一首領左宗棠於江西景德鎮一帶大敗太平軍，威脅著圍祁門太平軍的後路，迫使其撤圍而去，同時愛將鮑超帶領大軍趕到，於二十日、二十一日大破太平軍，把太平軍從羊棧嶺趕了出去。祈門之圍頓解！
曾國藩在祁門駐紮了十個月，其間凶險萬狀，屢遭敗績；曾國藩在家書中用“奇險萬狀，風波迭起”形容這段時間的凶險。他在日記中寫道：“是以憂灼特甚，夜竟不能成寐，口枯舌燥，心如火炙，殊不知生之可樂，死之可悲矣。”但他堅守不退，直到最後一刻。
這一次，雖然算不上大敗，最終是絕地反擊，反敗為勝，解了困危，但曾國藩不僅堅守到最後一刻，而且再次決心以死盡忠，可見他絕不是貪生怕死之徒。為國捐軀、盡忠報國、舍生取義，在他看來正如“戰死沙場”、“馬革裹屍”一樣，理所當然。