對於這次隱退，以及這位疲憊、威嚴、厭世的偉人放棄世界的權力，有很多傷感的文字，說他想在簡樸的孤獨中追求與上帝在一起時的平和心境。但相反，他既不孤獨也不簡樸。他帶了近150名隨從；他的住處輝煌放縱不亞於皇宮，卻沒有皇宮的辛苦。菲利普二世是一個孝順的兒子，對他來說父親的建議就是命令。
如果說查理對管理歐洲失去了興趣，那麼還有一些別的更直接的東西使他感興趣。普雷斯科特寫道：“大多數奎克塞達、加茲特羅與巴利亞多裏德的國務大臣之間的日常書信中，幾乎每一封信最終都會或多或少的談論到皇帝的飲食和疾病。就好像時事評論一樣，一個話題自然接著另一個話題。罕見的是這樣的話題已經產生了與政府部門溝通的負擔。國務大臣們在閱讀這些把政治和烹飪奇怪結合的信件時忍住笑意恐怕是一件難事。從巴利亞多裏德到裏斯本的特使，常常受命繞道亞蘭迪拉采購皇帝餐桌上的原料。每個星期四，他必須帶魚回來用於次日的齋戒。查理認為附近的鱒魚太小，總是叫人從巴利亞多裏德送大的來。他喜歡所有魚類，事實上，是喜歡任何一種性質和習性像魚的東西。鱔魚、青蛙、牡蠣占據了他的菜單的重要位置。罐裝的魚，特別是鳳尾魚，非常受他的喜歡；他常為沒能從低地國家一帶獲得更多的這種魚深感遺憾。他尤其愛吃鱔魚餅……”
1554年，教皇尤裏烏斯三世特許查理免除齋戒，甚至允許他在行聖禮時仍可在早上不守齋戒。
飲食與治療，這變成主要的事情。他一直沒有養成讀書的習慣，但他像一位描述者所描述的那樣發表一些“優美而絕妙的評論”。他喜歡擺弄機械玩具，喜歡聽音樂和布道，有時也關心國事，但這不過是他的消遣罷了。他與皇後感情很深，皇後的逝世，使他的心神轉向宗教。他的宗教十分死板，注重儀式。每逢四旬齋期的星期五，他總要懷著虔誠的信念和修道士們一起鞭打自己，直至出血。這種苦刑和風濕病，使查理釋放了出於政治的考慮而壓抑的對宗教的熱情。巴利亞多裏德附近出現了新教徒時，他十分震怒：“告訴宗教法庭的庭長和他的議會，一定要忠於職守，在罪惡蔓延之前，用斧頭把它連根斬斷。”盡管他有這樣的疑問：對這類罪犯我們不通過一般審訊也不加同情是否正確。但他還是認為：“一旦這些犯人得到了寬恕，就會有機會重新犯罪。”他還以自己在荷蘭的行動為例，宣布：“執迷不悟者燒死，悔悟者斬首。”
幾乎可以成為他在曆史上的地位和所扮演的角色的象征的是他對於葬禮的過分關注。他似乎有種直覺，覺得歐洲某些偉大的東西已經死去，非常需要舉行葬禮，對未償還的一切劃上句號。他不僅參加在於斯特舉行的每一次真正的葬禮，而且他還為不在場的死者舉行儀式。他就曾在妻子逝世的周年忌日，為紀念她而舉辦了一次葬禮儀式，最後，他為自己舉行了葬禮。
“小禮堂的四周掛著黑幔，雖然有千百支蠟燭，發出的燭光尚不足驅散黑暗。教會的信徒個個身著正裝，皇帝的所有家屬也身穿黑衣，陷入深深地悲痛之中，圍繞在教堂中央一個蒙著黑布的靈柩周圍。接著，葬禮儀式開始了。在修道士的哀悼聲中，人們替離去的亡靈祈禱，祝願他進入天國。當主人死亡的樣子出現在他們的腦海中時——或許他們是被感動了，又或者是對主人表現出來的懦弱表示憐憫，悲哀的侍從禁不住放聲大哭。裹在深色鬥篷裏的查理手持一根點燃的蠟燭，夾在家屬當中，做自己葬禮的旁觀者。最後，他把蠟燭遞給教士，表示他把自己的靈魂交給了萬能的神。這次悲哀的喪禮就這樣結束了。”
在這次假葬禮後不到兩個月，查理死了。神聖羅馬帝國短暫的輝煌，也同他一起消逝了。他的領土早已分給了弟弟和兒子。神聖羅馬帝國以一種衰弱、將死的狀態一直撐到了拿破侖時代。直到今天，它的未被埋葬的傳統，仍毒害著政治的空氣。