開始時，拿破侖的母親萊蒂齊婭也與他在一起。拿破侖考慮到她的安全，勸她跟熱羅姆一起離開。前些時候，王後瑪麗·路易絲離開萊蒂齊婭時，還假意說了些客套話，祝婆母安好。萊蒂齊婭早看透了她，清楚她是個隻關心自己的人，於是，對這個哈布斯堡的公主說：“那要看你是怎麼做的了。”
拿破侖給妻子寫了很多信，不停地派出信使，卻杳無音信。帝王此時已經不再考慮自己，土地、錢財都已經不再重要，他還在為妻子和兒子著想。他覺得瑪麗·路易絲沒有機會得到托斯卡納，但如果能夠留在靠近厄爾巴島的地方也很好，夫婦聯係起來也方便。他給妻子寫信，告訴她途中應該在什麼地方休息，哪裏的礦泉會有益於她的健康，她可以隨意帶走她的珠寶。不過，他去信給宮廷總管說：“所有的鑽石，都必須交到國庫，因為，它們屬於法蘭西。”
同一時刻，政府派人前往杜伊勒裏宮，搜索宮中的財寶。金銀連同證券，折合一億五千萬法郎，說是查封，其實是被竊走。這是拿破侖十四年中節省下來的。他所有的東西，被搜刮得一幹二淨。簽署搜查令的人中就有塔列朗。
此前，拿破侖還是歐洲最富有的人，現在，他隻有三百萬法郎的家產，隨後被流放到厄爾巴島。拿破侖心灰意冷，還有什麼比這更令人沮喪的？
帝王退位後第二天，呂西安就給教皇寫信，結果被封為羅馬親王。最後的幾周時間裏，富歇挑唆繆拉進軍羅馬，軍隊開進托斯卡納，侵入了埃利茲的領地。最終，導致英國占領托斯卡納。埃利茲仍然忠於帝王，妹妹的部隊入侵後，隻得匆忙逃走。不久，她在山間的一個小酒店生下一個孩子，不幸的是，到達波倫亞時，被奧地利軍隊俘虜。
熱羅姆夫婦此次還說得過去。最後幾天裏，他們沒有什麼舉動，卻時刻提心吊膽。院子裏稍有響動，大家就會精神緊張。有人與拿破侖告別嗎？出發前不久，有個貴婦人頭戴麵紗，深夜來到拿破侖宮外。沒有人認出她，她最後也沒能見到帝王。這就是瓦萊夫斯卡伯爵夫人，她整整等了一夜，清晨時才無奈地離開，留下了一封信。拿破侖知道後，派人去請時，她已走了。拿破侖無比後悔地寫道：“親愛的瑪麗！……隻有你對我癡情不改，我深受感動。你像天使一樣，心地善良……我對你的愛沒有改變！相信我！”
過了些日子，拿破侖的情緒平靜下來，信心在漸漸地恢複。不是還有個厄爾巴島嗎？一切尚不可知！當初的科西嘉，也隻不過是地中海的一個小島！接著，拿破侖讓人找來資料，開始研究厄爾巴島的情況：“這裏四季如春，居民樸實厚道，也許，路易絲會喜歡這裏。”隨後，他挑選了四百名貼身衛兵，其實，整個近衛軍都想要隨他而去，忠心可嘉。這其中，有的二十二年前在土倫時就追隨他，從開羅到莫斯科，已經身經百戰。
此時，拿破侖的心情還算不錯，與宮廷總監閑談，提到最後幾次戰役，他說：“懦夫才會輕生。那是在躲避責任，這種人隻能讓別人蔑視。”兩個人在陽台上走了一會兒，拿破侖忽然笑著說：“說實話，好死不如賴活。”
一切都已經辦好，盟國派出四個人陪拿破侖去厄爾巴島。人已經到齊，決定中午出發。臨行前，拿破侖再次給妻子寫道：“再見，親愛的路易絲，你的丈夫永遠不會被打倒，你自己保重。代我吻可愛的小羅馬王！”
沒有送別儀式，大家默默地起程。但是，老近衛軍自發地在院中集合，列成方隊在等候他。拿破侖走下台階，感到千萬隻眼睛在注視著自己。他能說什麼呢？二十年了，他無數次給他們講話，鼓勵或者感謝他們。此刻，已經沒有勝利，不過，還是應該去感謝他們。想到這，拿破侖走上前去，士兵們高喊：“陛下萬歲！”拿破侖來到士兵中間，說道：“可敬的老近衛軍士兵，我向你們告別。二十年來，你們為法蘭西贏得了榮譽。就是在剛剛過去的幾個星期裏，你們個個大義凜然，始終勇敢和忠誠，這令我感動不已……為了避免發生內戰，為了國家的安全，我犧牲了自己，決定退位。我要走了……你們，我可愛的朋友們，請繼續為法蘭西效勞。衷心祝福你們。不必為我感到惋惜。我會堅強地活下去，為了不玷汙你們的榮譽。記住我們共同創造的光輝業績吧。再見，朋友們。此刻，我真想和你們熱烈擁抱。最後，請允許我吻你們的鷹旗！”