隆美爾聽到這個消息後，絕望地喊了聲“完了”。蒙哥馬利的英軍已讓他疲於逃命，他原指望向西撤退，能在那裏站穩腳跟，伺機叵撲；而現在艾森豪威爾的部隊已在他背後登陸，對他實施夾擊，他感到已無任何立足點了，最好的選擇，就是撤出非洲。
他寫了一封信給希特勒，告訴他，非洲軍團已無法守住昔蘭尼加，請元首立即派潛艇、小船、飛機在夜裏盡量把這一批身經百戰的德軍士兵運回歐洲，投人其他戰場。
但是希特勒沒有答應，他不想放棄北非。英美軍隊在北非登陸完全出乎他的意料之外，在登陸的前一天，情報官告訴他有一支英軍船隊駛人地中海，當時他認為這支船隊是往馬耳他島去的，因而並不在意。盟軍登陸後的第二天，他決定全麵占領法國，並在突尼斯建立一個橋頭堡。11日早晨，德軍和意軍開進了法國的“自由區”，維希政府垮台。與此同時，大批德、意軍隊來到了突尼斯，組成了第5裝甲軍團，由阿尼姆將軍指揮，企圖製止美、英軍的前進，守住非洲的最後一個堡壘。
希特勒不想撤出非洲，隆美爾也不想再說了，他在希特勒身邊幹過一陣子，了解他的脾氣，他決定了的事，別人再說也無用。因此，隆美爾繼續按計劃向西撤退。
11月23日，隆美爾率領他的裝甲軍團，撤到了布雷加一線，這裏離阿拉曼已經有800公裏了。
到達布雷加後，隆美爾對該地區隨即進行了視察，這條防線長達100英裏，是阿拉曼戰線的一倍半。他一沒有汽油，二沒有機械化部隊可以抵擋蒙哥馬利對他的迂回包抄。在阿拉曼戰場，他有50萬顆地雷，而現在，僅有3．2萬顆。部隊已喪失了許多重型武器和反坦克炮。要想守住這條防線，隻是一種幻想。
於是，隆美爾請求繼續後撤，但卻遭到了墨索裏尼和希特勒的拒絕，他們要他堅守住布雷加，頂住英軍的進攻。
11月24日，佳美爾、凱塞林、卡瓦利諾和巴斯蒂柯四位陸軍元帥召開了一個長達三個小時的會議。
在會上，除了隆美爾，其餘三人都認為要堅守下去，這使隆美爾大為惱火。他大聲說道：“我根本不願在布雷加死守，既然領袖和元首要我堅守，再爭論其它的選擇也是徒勞無益，不過，我要提醒諸位，我手中隻有35輛坦克和57門反坦克炮，而蒙哥馬利手中卻有420輛坦克和300輛裝甲車，一旦布雷加失守，在的黎彼裏作任何抵抗都等於零。”
凱塞林連忙捧場：“我們十分欽佩您從阿拉曼的撤退，在一條sbo英裏長的路上拉回一支龐大的部隊，敵人根本無法擋住你，這在戰爭史上是空前的。”
隆美爾不耐煩地回答說：“假如有一兩天裏敵人在這條防線上纏住我軍，然後以強大的兵力迂回夾擊，我們該怎麼辦？”
他的話一出，三位元帥頓時啞口無言，他們也實在想不出好的對策來了。
11月26日，巴斯蒂柯又電告隆美爾，墨索裏尼正期盼著隆美爾能指揮裝甲軍團向英軍的先頭部隊發起進攻。他在電文中還告訴隆美爾，沒有他和巴斯蒂柯的直接允許，隆美爾無論如何不許再往後撤。
隆美爾氣極敗壞地把電報一扔，然後轉身簡短地命令納瓦裏尼和纓勒上校，做好撤至布厄艾特的準備。
他下完命令後，叫上副官，向“亨克爾”飛機走去，他要到“狼穴”去麵見希特勒，向希特勒麵敘撤退的原因，他堅信，元首是理解他的。
當天下午，隆美爾來到了東普魯士大本營。
當他走下飛機時，凱特爾和約德爾兩位元帥已在機場等他。他們不高興地問隆美爾找希特勒幹什麼。
隆美爾沒有理睬他們，隻是說了聲：“有關北非之事”就坐上汽車徑直向“狼穴”駛去。
5點多鍾，隆美爾走進了元首大本營的會議室。
希特勒一見他，劈頭就說：“沒有我的允許，你怎敢擅離職守！”
隆美爾驚呆地望著希特勒。
此刻氣氛極為緊張，連空氣都幾乎凝固了。隆美爾沒有明白希特勒最近心情很不好，這不僅僅是北非戰場問題，在俄國戰場，第6集團軍在斯大林格勒已成了甕中之鱉，在別的戰線，也出現了一連串棘手的問題。隆美爾這位不速之客的來臨自然引起了元首的不滿。
隆美爾開始向希特勒作彙報。當隆美爾彙報到自己的軍隊所處的困境和新防線的不利時，希特勒不耐煩地打斷了他。
‘’你手頭還有多少人？”他問。
“大約6、7萬。”隆美爾回答說。
“英軍進攻時，你有多少人介
“8萬3千人。”
‘“看起來，’希特勒指出，“你並沒有遭到什麼損失。”
隆美爾回答悅：‘可是我們的武器幾乎都喪失了。成幹上萬
的士兵甚至連支步槍都沒有。’
希特勒扯開嗓門叫道：“那是因為他們把槍都扔掉了。’
隆美爾也大聲嚷嚷：‘非洲已無法固守，唯一能做的事就是盡快地把德軍撤出非洲。’
重新提出撤退，就如火花飛進了火藥桶。希特勒勃然大怒：“你提出的建議和我的那些將軍們去冬所於的完全一樣。他們要求退到德國邊境，我拒絕這樣搞，事實證明我做對了。我不允許這樣的戲在非洲重演。我們必須在北非保留一個大的橋頭堡，因為他有著十分重要的政治原因。假如我們丟掉了北非，意大利就會產生極其嚴重的反響。因此以後別再提放棄的黎波裏塔尼亞了。你的部隊會得到足夠的武器，使你能夠把每一個士兵都投人前線。你必須把後勤部隊削減到絕對的少數。凱塞林的空軍將竭盡全力護送給養隊伍。”
晚上，隆美爾帶著希特勒向他提供更多援助的許諾，坐上了帝國元帥戈林的豪華專列隆隆地駛向羅馬。
在羅馬，經過激烈爭論，墨索裏尼終於稍稍改變了初衷，決定隻有在隆美爾確信蒙哥馬利即將進攻布雷加的情況下，才允許他撤到的黎波裏以東200英裏的布尼文特一線。這一指令實際上等於允許隆美爾可以自由撤出布雷加。
12月2日，隆美爾飛回到了利比亞。
不等蒙哥馬利發起進攻，IZ月6日夜，埃尼·納瓦裏尼將軍的意大利步兵先頭部隊就開始撤出布雷加一線。隆美爾命令每輛汽車前麵必須有一人步行，在夜色中引路。在必要時，可用步槍擊滅車燈。但是不一會兒，非洲軍司令部打電話告訴隆美爾，意軍的先頭部隊大開著車燈，飛快地向西駛去了。
整整一夜，意大利的部隊乘坐數百輛軍車行駛在通向布厄艾特的沙漠公路上，待到天亮時，路上又空無一人。
對於非洲軍團的撤退，英軍毫無察覺。
9日夜間，意大利最後一支部隊比斯托伊亞步兵師一部也平安無事地撤離廠市雷加防線。
12月10日半夜，蒙哥馬利的炮火向布雷加防線進行了猛烈的轟擊。
然而，那裏一帶空空蕩蕩，“沙漠之狐”又再次逃脫了a蒙哥馬利又撲空了。
在匆匆忙忙的大撤退中，汽車、坦克、裝甲車爭先恐後地向西奔馳，生怕英軍的轟炸機落在自己的頭上。終於，布厄艾特到了。
但是隆美爾的主意又改變了。他決定放棄布厄艾特。
隆美爾找到了巴斯蒂柯，坦率地陳述了自己的看法：“布厄艾特防線與其他防線一樣，南部地帶經不住迂回夾擊。我們手中現在隻有幾十門反坦克炮，一半以上的士兵手中僅持有步槍或機槍，地雷、彈藥和其他給養物資已到了山窮水盡的地步。因此，我們隻能再繼續撤退，撤到馬裏斯那樣的高山陣地上進行防禦。”
巴斯蒂柯這次同意了隆美爾的看法，就將此事稟報了羅馬。
墨索裏尼看到非洲軍團又要求後撤，頓時火冒三丈，他親自拍來了電報：“我再次重申，抵抗到底。在布厄艾特防線的德意裝甲軍團的所有部隊必須抵抗到底。”
隆美爾已全然不顧領袖的命令，他下令立即撤退。
1月18日，隆美爾的非洲軍團比墨索裏尼允許的日期提前三個星期到達了霍姆斯防線，這是利比亞首府的黎波裏的最後一道防線，但是這條防線由於沒有來得及做好防禦準備，不宜久留。
英軍的坦克仍在追擊。
隆美爾來到霍姆斯防線後，顧不上休息，就前去察看前沿陣地。
他發現在德軍的尾部，英軍的坦克正在作Z字形推進，進展十分緩慢。
就是這一可疑的舉動引起了隆美爾的警惕，英軍的這些坦克不過是作一次牽製性進攻，目的在於將他拖住。英軍一定有別的部隊在作迂回進攻。
隆美爾下令立即對英軍實施大範圍的偵察，當天下午2點，德軍的偵察飛機帶來了消息，他的估汁是正確的，在他原先確信坦克不能通行的山地那邊，一支擁有1400輛坦克和車輛的大部隊正在橫跨這個區域向西挺進。
下午4時，第19輕裝甲師俘虜了一名英軍高級軍官，從他身上搜出了一份秘密文件，文件表明，蒙哥馬利的戰略目標是的黎波裏外圍30英裏海岸公路上的托維爾。顯然，英軍正在從更遠的地方對德軍進行戰略包圍，霍姆斯是守不住了，的黎波裏也隻得放棄。
墨索裏尼堅決不同意放棄的黎波裏。這裏是意大利統治利比亞的象征，丟掉的黎波裏，意味著失去了他們在北非和東非殖民地帝國的最後一部分，這個帝國是他們在半個世紀裏以巨大的物質代價，精心建立起來的。他想作最後的掙紮，保住的黎波裏。
但是，隆美爾根本不子理睬，他不想冒的黎波裏落入敵軍手中同時又使德軍全軍覆沒的風險。他下令於1月21日黃昏時全部撤出的黎波裏。
象以往那樣，隆美爾下令對的黎波裏實施破壞。這座美麗的城市頃刻間燃起了熊熊大火。
l月25日，隆美爾告別了利比亞，進人了突尼斯。
蒙哥馬利的追擊總是差半拍，1月23日，當隆美爾的軍隊已全部撤出的黎波裏後，英軍的先頭部隊才開進了這座城市。當天中午，蒙哥馬利在的黎波裏塔尼亞的意大利副總督處正式受降。
2月3日和4日，丘吉爾和布魯克親臨第S集團軍視察。蒙哥馬利為他舉行了閱兵式。參加檢閱的有蘇格蘭師、新西蘭師、皇家裝甲部隊和皇家陸軍後勤部隊。看到威武雄壯的第8集團軍，丘吉爾非常高興。他要求第8集團軍乘勝前進，衝破馬雷特防線，進人突尼斯，徹底消滅德軍。