英軍坦克挺進到了德意防線的後方，在那裏肆無忌憚，瘋狂地攻擊德軍給養部隊。德意防線終於開始崩潰了。
下午，隆美爾集中全部坦克，向英軍進攻部隊的兩側發動反攻。由於缺乏空中支援，在英國空軍的空襲下，德軍損失了大部分坦克，隻剩下35輛坦克。在一天之內，“非洲軍團”就消耗了450噸彈藥，而德國隻將190噸補充的彈藥卸在了約480公裏以外的托布魯克港。
11月2日，英軍的轟炸機群對28號高地以西的德軍剩餘防線進行了7次空襲。德軍第288野戰醫院掛有紅十字的旗幟，反而成為英軍的重點轟炸對象，共有3名德國軍醫喪生。隆美爾十分惱火，他派人把俘獲的英軍軍官帶到野戰醫院，利用他們作為盾牌。
英軍的強大攻勢使德軍無力抵抗。更使德軍感到無奈的是，英軍坦克的主力部隊投入了幾百輛先進的“謝爾曼”坦克。“謝爾曼”坦克比德軍坦克先進了許多，它能在2公裏以外的距離開炮，而且它還能在全速行進時快速瞄準目標開炮。88毫米的德國高射炮無法穿透它的裝甲。
隆美爾爬上山頭，察看兩軍交戰的情況。他發現阻止英軍的強大攻勢是不可能的。
當天晚上，隆美爾得知英軍第二梯隊的裝甲部隊正在向突破口集結，準備發動更加猛烈的攻擊。由於已經無力抵抗，隆美爾認為應該早點把部隊帶到阿拉曼以西的富卡，以免被英軍全殲。南線兵力撤回自8月底所占領的陣地，北線德軍和意軍第20軍逐漸向西撤退。
隆美爾在臨撤退前對軍官們說：“我們無法守住防線，因為整個阿拉曼北部防線已經崩潰了，包括布雷區和防禦工事。我們現在已經到了退守富卡防線的最後時刻。”
當天夜晚，馮·托馬將軍向隆美爾報告說：“我們已經盡了最大的努力，戰線已經守住，但十分脆弱。明天能參戰的坦克隻剩30輛，頂多不超過35輛。預備隊已經全部參戰。”
隻剩35輛坦克了！隆美爾對馮·托馬說：“我準備邊打邊退，退守西線。步兵部隊今天夜裏先撤退。”
德軍裝甲部隊的任務是堅守到明天一大早，然後撤退。裝甲部隊必須牽製住英軍，給步兵部隊贏得撤退的時間。
20分鍾後，隆美爾正式下達了撤退的命令。晚上9點零5分，“非洲軍團”的最後一支部隊也接到了撤退的命令。
與此同時，隆美爾向希特勒發出電報。隆美爾清楚希特勒不準他撤退，因此在這封電報中他並未明確提出他已經下令撤退，隻是在文字中加入了令人難以覺察的暗示。
幾乎同時，在英國倫敦郊外的布來得雷莊園，剛截獲的“非洲軍團”電報被放入破譯機中。打字機傳送出隆美爾的電報全文。專家們開始分析譯文。幾小時後，英國保密局頭目用電話向丘吉爾等幾位官員作了彙報。
隆美爾向希特勒隱瞞了部隊已經撤退的真實情況後，心裏非常不安，他知道希特勒遲早會知道的，那時候，他的處境將會很慘。權衡利弊，隆美爾認為還是應該向希特勒彙報實情。
11月3日早晨8點30分，德國陸軍元帥凱特爾跑進希特勒的地下室，要求麵見元首。凱特爾把隆美爾夜間的電報遞給了希特勒。
隆美爾在發給希特勒的電報結尾處低調地說：“11月2日至3日夜間，步兵師調離了防線。”
希特勒氣呼呼地不發一言。凱特爾連忙解釋說，值班的軍官沒有注意到這句話的重要性，把電報作為日常文件了。
希特勒馬上向隆美爾發報，這封電報充分地展示了他善辯的天才：“我和全體德國人，抱著對你的指揮能力和在你指揮下的‘非洲軍團’的英勇精神的堅定信念，關注著你們在埃及進行的防禦戰。根據德國現在麵臨的形勢，不可否認，你們隻有堅守陣地，決不能後退，要把每一個士兵都投入戰鬥，除此以外毫無出路。大批空中援助將於未來幾天內到達南線空軍總司令凱塞林處。我和墨索裏尼必將盡全力增援你，以使你能繼續作戰。英國人的優勢雖然很大，但我們意誌的力量能夠戰勝強敵，這在曆史上已經有先例了。你可向部下說明，不成功，便成仁，沒有其他出路。阿道夫·希特勒”
中午1點30分，英國的“超級機密”破譯了希特勒的電報並立即把它轉給亞曆山大。接著，丘吉爾首相接到了急電：“希特勒命令北非德軍死守防線!”
希特勒的這封電報使隆美爾的心情糟透了，他說：“當我看到最高當局的指示時，一種麻木不仁的感情攫住了我。”當時，德軍裝甲部隊僅剩30輛坦克。當隆美爾將希特勒的電報遞給馮·托馬時，馮·托馬說：“不可能守住陣地。”
此時，英軍的裝甲部隊追了上來，襲擊德軍南麵暴露的翼側。隆美爾讓這些部隊安全撤回去是非常困難的。隆美爾在大撤退時盡了最大努力，而英國空軍在德軍的戰鬥地域和撤退路線上空雨點般地轟炸、掃射。
11月3日晚，印度師和高地師發動了兩次猛烈的攻勢，隨後更多的坦克和裝甲車衝進開闊地帶，而重型坦克則威風凜凜地向前快速推進。
阿拉曼戰役的第12天，蒙哥馬利就迫使隆美爾撤退了。