1807年末，西班牙爆發內部動亂，西班牙國王遭到人民的唾棄。拿破侖於是乘機入侵了西班牙，並讓其長兄約瑟夫·波拿巴坐上了西班牙國王的寶座。這個舉動遭到了西班牙人的普遍反對，並且引發了一場暴動，拿破侖也束手無策。大不列顛及北愛爾蘭聯合王國在1808年介入西班牙爭端，英軍8月8日登陸蒙得戈灣，8月30日占領了整個葡萄牙。之後他們在當地民族主義者的支持下，逐步將法軍趕出了伊比利亞半島。法國入侵西班牙的失敗對拿破侖的政治生涯產生了揮之不去的陰影，在這次戰爭中法國幾乎沒有獲得任何好處，相反卻損失了大量兵力。
正當拿破侖陷入西班牙泥潭之際，1809年初第五次反法同盟組成。奧地利帝國從背後偷襲了拿破侖在德國的領土，疲憊不堪的拿破侖被迫離開西班牙，率軍東征。奧地利帝國軍隊雖然一開始取得優勢，但是拿破侖很快就反敗為勝，沒多久，拿破侖就迫使奧地利帝國簽訂《肖恩布魯恩和約》。但再次割讓土地。次年，拿破侖娶了奧地利帝國的公主瑪麗·路易莎為妻，從此法奧結成同盟，這次的成功隻是暫時的，並不能扭轉拿破侖走向失敗的命運。
接著法俄關係開始惡化，俄國沙皇亞曆山大一世拒絕繼續和法蘭西帝國合作抗英，拿破侖無法容忍盟友的背叛，於是戰爭爆發。拿破侖率領來自各國的士兵50多萬大軍進入俄羅斯。俄軍采取了撤退不抵抗的戰術，博羅金諾一戰使拿破侖進入了莫斯科，然而卻造成了三萬多人陣亡和重傷。拿破侖本以為亞曆山大一世將會妥協，沒想到俄國人點起了漫天大火，幾乎使全城化為灰燼。拿破侖在莫斯科等待了5個星期，最終和解的希望化為泡影，隻好無奈地決定撤軍。然而為時已晚，俄國的冬天殘酷無情，法軍供給短缺，這一切立刻使法蘭西帝國士兵心驚膽戰，亂作一團，最後竟然互相爭鬥，結果能活著逃命的還不到十分之一。此時國內又傳來叛亂的消息，拿破侖隻好離開了自己的軍隊，隻身返回法國本土，即刻組建軍隊準備迎擊那些隨時有可能出現的背叛者。
1813年，正在拿破侖焦頭爛額之際，又一個壞消息傳來了，大不列顛及北愛爾蘭聯合王國、俄國、普魯士和奧地利帝國組成了第六次反法同盟，雙方在德國境內多次激戰。雖然法軍取得了多次勝利，但是拿破侖的壓力卻是越來越大，直到10月的萊比錫戰役法軍被擊潰，各附庸國紛紛脫離了法蘭西共和國而獨立，隨後反法同盟軍開始向巴黎挺進。1814年3月31日，巴黎被占領，同盟軍要求法蘭西共和國無條件投降，同時拿破侖必須退位。最終拿破侖宣布無條件投降，並於1814年4月13日在著名的巴黎楓丹白露宮簽署了退位詔書，隻保留了一個皇帝的稱號。
究竟是什麼原因導致拿破侖的失敗呢？有人認為隨著軍事冒險的不斷成功，拿破侖對權利與勝利的崇拜已到了玩世不恭的程度，認為自己完全可以主宰一切。他說：“要主宰世界隻有一個訣竅，那就是要強大，因為力量強大就無所謂錯誤，也沒有幻想可言；這是赤裸裸的真理。”回顧拿破侖帝國的曆史，不難發現，在1812年以前，法國與歐洲國家簽訂的《亞眠和約》與《提爾西特和約》，都承認了法國在歐陸的特權和優勢，如果他那時就收手，做一個“仁慈的霸主”，就有可能保持住這種地位。然而他野心太大，最終把幾乎歐洲所有的國家都推到了自己的對立麵，失敗也就不難理解了。
拿破侖被迫退位後，路易十八回到巴黎，重新成為法蘭西王國國王，波旁王朝複辟。拿破侖的妻子和兒子生活在奧地利帝國皇室。拿破侖被流放到地中海上的厄爾巴島。保留了“皇帝”稱號的拿破侖，領土隻局限在那個小島上。在去往厄爾巴島的路上，拿破侖差點被暗殺，但是此時的拿破侖沒有任何擔憂，因為他自己也嚐試自殺，隻是沒能成功。拿破侖不願任人擺布，這裏不應該是他人生的終點，作為一個影響了整個歐洲半個世紀的領袖，這樣的離開自己的舞台並不光彩。他時刻想著要與命運抗爭，要回到他的法國。