隆美爾這時已無單獨決定重大行動的權力，他作為德軍西線總司令馮·龍德斯泰特屬下的B集團軍群司令，須接受龍德斯泰特的指揮和節製。隆美爾要求控製更多的裝甲師，但希特勒一直沒有答應。1944年6月6日早晨，英美盟軍開始在諾曼底登陸。當天，隆美爾正在家裏為妻子露西慶祝生日，待他接到報告後趕到諾曼底前線時，盟軍已奪占了幾個縱深達10公裏的登陸點。至6月12日，登陸盟軍已達33萬人，而德軍統帥部才調來3個裝甲師和1個摩托化師，使諾曼底地區的德軍兵力增至12個師。希特勒命令部隊不準實施新的部署和調動，而由他親自決定如何行動。他於6月門日到法國視察時，隆美爾建議部隊從諾曼底主動後撤，但被拒絕。
隨著盟軍自諾曼底登陸成功後向德軍防禦縱深的逐步推進，隆美爾對整個西線戰事越來越絕望了。他像當時的一些德軍將領一樣，希望希特勒能在西線與英美單獨情和，然後集中力量去對付東線的蘇軍，為此他曾當麵與希特勒發生了衝突。
1944年6月29日，就在盟軍從諾曼底繼續向法國腹地挺進期間，希特勒在他的伯希特斯加登山間別墅裏召開了一次有西線將領參加的大本營軍事會議。會上，希特勒先發表一通旨在鼓勁打氣的演說，然後請醫美爾談談盟軍在諾曼底登陸以來的軍事局勢。但隆美爾談的卻不是這些，他鼓足勇氣當著希特勒的麵說道：“元首閣下，我作為B集團軍群司令，認為我有責任向您闡明西線局勢。首先談談我們的政治形勢，全世界聯合起來對付德國，而力量平衡——”
希特勒立刻打斷他的話：“陸軍元帥，請談你的軍事形勢，別的不用你講。”
“我的元首，曆史要求我應首先談談我們的整個形勢。”隆美爾固執地說。
希特勒猛一拍桌子，說：“你就談談你的軍事局勢，其他的什麼也不許談。”
隆美爾不得不遵命介紹了盟軍在諾曼底登陸後的軍事局勢。之後，希特勒又就反擊問題口吐狂言：用德國的海軍、空軍封鎖盟軍從英國到諾曼底的交通線，同時集結部隊，把盟軍趕下大海，再來一個敦刻爾克。希特勒說到這兒，便把期待的目光轉向隆美爾。這一回，隆美爾不想再說話了，但希特勒還要他就軍事問題表明一下態度。隆美爾仍然默不作聲。因為戰爭進行到這個時候，德國已沒有多少潛力了，隆美爾認為隻有趁著德國軍隊還未被徹底摧毀之前，與英美娟和，或許還能夠討價還價以挽救第三帝國的命運。但是，希特勒不允許他的將領們談論這個“政治問題”，而且他認為德國還能夠、也必須打下去。所以，當隆美爾最後忍不住地說還想就“德國這個主題談一談時”’，希特勒氣憤地讓他離開會場：“陸軍元帥，還是離開這裏吧！我看這樣做好一些。
隆美爾實際上被希特勒轟出了會場。這是他生前最後一次與希特勒的會麵。18天以後，隆美爾離天B集團軍群司令部去前線部隊視察時，乘坐的汽車遭到盟軍飛機的掃射，司機被當場擊斃，他從打翻的汽車裏爬出來後，顱骨4處骨折，頭皮也被撕去一塊，左眼眶傷得厲害。隨後，他離開法國戰場返回國內治傷。
隆美爾的軍事生涯從此結束了。3個月後，他因被牽涉進
“7月20日陰謀用定時炸彈謀害元首”的案件中，於10月14日在希特勒派來的陸軍人事部長的監視下隨車自殺，終年53歲。他死後，希特勒還像演戲似地給露西發來唁電：“謹對貴夫君逝世表示至為沉痛的哀悼。元帥英名和非洲軍團的英雄業績一樣永垂不朽！”這真是貓哭老鼠假慈悲，為希特勒賣命的人有幾個能逃脫他所安排的厄運呢？