1561 年 11 月，嘉靖居住的萬壽宮發生了一場火災，這場大火把錦繡宮殿燒成了斷垣殘壁。皇上隻得暫居玉熙宮，“隘甚，邑邑不樂”，玉熙宮又窄又小，嘉靖有些鬱悶不樂。嘉靖問眾大臣，“朕該何處安身”？
這一年嚴嵩已經 81 歲，有些癡呆遲暮，一時沒能反應過來，隨口答曰“請暫徙南城離宮”。嘉靖一聽大為惱怒。
南城離宮空置了有近百年，其中有個原因：1449 年土木堡之變，明朝的 50 萬大軍全軍覆沒，英宗朱祁鎮被俘。蒙古太師也先押著英宗，沿途叫關。明軍守將投鼠忌器，不得不開城投降，半月之內，十幾座關隘盡落也先之手。不得已之下，於謙提議，太後做主，改立朱祁鎮的弟弟朱祁鈺繼承皇位，即代宗。明朝有了新主，明將奉新皇帝旨意，恢複士氣反敗為勝，打得蒙古兵落荒而逃，隻得坐下來與明朝講和，送回了英宗。因為新皇帝已經登基，英宗被尊為太上皇。代宗為防止英宗聯絡舊臣推翻自己，就把英宗幽禁在南城離宮。8 年後，大臣石亨與於謙發生矛盾，夜闖南城離宮搶出英宗，推倒了代宗複辟。英宗以其人之道還治其人之身，又把代宗囚禁於南城離宮。因此，南城離宮成了囚帝的代名詞。
嘉靖一聽嚴嵩讓他到南城離宮去住，心中犯了忌諱，認為是嚴嵩對他的詛咒。
嘉靖是個喜怒無常、猜忌心極重的皇帝。略舉一例：有一年，嘉靖病重，太醫徐偉奉旨前往診治。當時嘉靖坐在小床上，龍袍垂地，徐偉遲疑不敢前進。嘉靖問他為什麼不走過來。徐偉說，皇上的龍袍在地上，臣不敢進。診視完畢，嘉靖就下了一道手詔給內閣，嘉獎徐偉。嘉靖說，徐偉的話，最能體現他對君父的鍾愛之情。因為他說的是“皇上的龍袍在地上”，而不是“皇上的龍袍在地下”。一個“地上”，一個“地下”，有著天壤之別：地上，人也；地下，鬼也。徐偉聽到聖旨傳達，當時就嚇出一身冷汗。自己無意間的一個用詞，幾乎招致殺身之禍。
應付嘉靖本來就不容易，何況是垂老之人。嘉靖猜疑嚴嵩存有異心，在內心裏已漸漸疏離。萬壽宮一場大火，把嚴嵩的聖眷燒了個精光。
《明史·徐階傳》記載：“徐階營萬壽宮甚稱旨，帝益親階，顧問多不及嵩。”就像當年嚴嵩取而代之夏言一樣，嚴嵩的錯誤給了次輔徐階乘虛而入的機會。徐階勞民傷財大興土木，在修複萬壽宮的過程中，頗得“上喜”。嘉靖移情於徐階，“凡軍國大事悉諮之階”。
據明史記載，徐階絕非等閑之輩，因為“清君側”扳倒清除了奸臣嚴氏父子而功垂青史。《明史·徐階傳》給予徐階這樣的評價：“短小白皙，善容止。性明敏，有權略，而陰重不泄。”徐階是個喜怒不形於色，有權謀，善於見風使舵；當麵拱手笑，背後使絆腳，笑裏藏刀，兩麵三刀；見人說人話，見鬼說鬼話，沒有政治立場的人。
史料記載，徐階在延平府推官任上，因剿匪有功，升為黃州同知，後又擢為江西按察僉事、江西按察副使，分管浙閩兩省的學政，但一直是個外放的苦差。夏言當政之時，徐階獻給夏言一個小金佛：“這是下官在延平府剿匪時所獲，一直替相爺保管著，現物歸正主，請相爺收下。”夏爺故作推辭，徐階說：“如此貴重的金佛放在下官身邊，定會損下官的陽壽，還是相爺能服住此物。”可見徐階在官場頗會來事。徐階得到夏言的推薦，如願以償回到天子身邊任國子監祭酒，由此開啟了徐階的上升之途。
嚴嵩扳倒夏言擔任首輔後，徐階立馬改換門庭，又給嚴嵩送上一個價值連城的翡翠西瓜作為賀禮。“初，階之入政府也，肩隨嵩者且十年，幾不敢講鈞禮。”徐階良禽擇木而棲，又投靠了嚴嵩，正是賴於嚴嵩舉薦他入閣辦事，將其視作自己的接班人，並結為兒女姻親。1552 年夏，73歲的嚴嵩感到自己精力越來越不濟，推薦了親家禮部尚書徐階晉升為大學士、次輔，仍兼任禮部尚書。
還有一件小事頗見徐階之人格：當嚴嵩權勢熏天之際，有許多人欲認嚴嵩為幹爹。嚴嵩覺得影響不好，予以婉拒。此時，徐階抬了個沒底子轎，極力慫恿嚴嵩接受：“他們都是少年才俊，雖後生可畏，但經世不足。他們需要得到相爺的教誨，才能成為國家的棟梁。”在徐階的慫恿下，這些攀龍附鳳之輩也紛紛表態：“樹不紆不直，子不教不器。”這成為後來徐階彈劾嚴嵩的一條罪狀，“結黨營私”。
《明史·徐階傳》中有這樣一段記載：“置酒要階，使家人羅拜，舉觴屬曰：‘嵩旦夕且死，此曹惟公哺乳之。’階謝不敢。”當嚴嵩看到徐階越來越得到嘉靖的恩寵，於是擺酒設宴，作為一種試探。席間，嚴嵩令子孫團團拜倒在徐階腳下，舉杯托孤道：“嚴某日薄西山，這些小子就全仗徐公看顧了。”徐階立即避席，連連說不敢當，不敢當！
《明史·徐階傳》中還有這樣一段記載：“既歸，其子密啟曰：‘大人受侮已極，此其時已。’階偽罵曰：‘吾非嚴氏不至此，負心為難，人將不食吾餘。’嵩遣所親探之，語如前。蓋階亦知上猶眷戀，未能即割也。嵩既去，書問不絕。久之，世蕃亦忘舊事，謂‘徐老不我毒’。”徐階回到家，兒子徐墦立即進屋勸說：“父親大人，您這些年一直受嚴氏父子欺壓，該出手時可不要手軟，別忘了嚴嵩對付夏言的伎倆。”豈料，徐階拍案大罵：“沒有嚴相爺，我們徐氏父子哪裏有今天，你這個忘恩負義的東西，死了狗都不吃你！”此處史載用了一個“偽罵”，原來，嚴氏父子耳目眾多，徐階家人中就有幾個嚴世藩重金豢養的間諜。徐階的表現，立刻傳到嚴氏父子耳中，從此嚴嵩對徐階完全放鬆了應有的警惕。