禦史鄒應龍得了夢兆後，立即揮毫潑墨，專門參劾嚴東樓。奏折遞上去之後，世宗看完，就找來大學士徐階商議。徐階低聲說道：“嚴氏父子罪惡昭彰，陛下應該果斷一點，免得滋生禍端。”世宗點頭。徐階退下去之後，徑直造訪嚴府。此時的嚴嵩父子已經聽說鄒應龍上疏的事情，正擔心會有什麼不測，看到徐階前來，慌忙出去迎接。寒暄過後，就問起鄒應龍參劾的事情。徐階從容地說：“小弟今天到西宮值班，正巧鄒應龍的奏折遞到。上麵看完之後，不知為什麼勃然大怒，立即召來小弟問話。小弟就說嚴相任職多年，並沒有什麼過失，嚴公子平時的所作所為，也不像奏折上說得那麼嚴重。小弟說完之後，見龍顏已經溫和下來，想必不會有什麼事情了。”嚴嵩急忙下拜：“全仗多年老友極力挽回，老朽應當拜謝。”嚴世蕃也跟著父親叩頭，驚得徐階連稱不敢，忙扶起嚴嵩父子，然後好言勸慰一番，這才離開。
嚴嵩父子將徐階送出家門。回到家沒過多久，就有錦衣衛來宣讀詔書，勒令嚴嵩罷官，並逮捕嚴世蕃下獄。嚴嵩跪在地上，見嚴世蕃已經被免去衣冠，由錦衣衛推了出去，這才徐徐起來，淚如雨下，嗚嗚咽咽地說：“罷了！罷了！徐老頭明知道這件事，還來這裏探試，真是可惡！”轉念又想：“現在得寵的大臣隻有徐階，除了他，也沒人能營救了。”正在滿腹躊躇的時候，鄢懋卿、萬寀等人都來探望。萬寀是大理寺卿，鄢懋卿這時已經升為刑部侍郎，二人都是嚴府的走狗。嚴嵩剛和他們談幾句，不料錦衣衛返了回來，索要嚴世蕃的兒子嚴鵠、嚴鴻以及家奴嚴年，嚇得嚴嵩說不出話。鄢、萬二人也沒有辦法，隻好將三人交出，讓錦衣衛帶走。這時家人又來通報，說中書羅龍文已經被逮捕。這時候的嚴府內外，悽惶萬狀，窘迫不堪，大家都圍著鄢懋卿、萬寀，請他想辦法。鄢懋卿抓耳撓腮地想了一會兒，才說：“有了！有了！”大家聽了這話，連忙問是什麼辦法？鄢懋卿說：“你們不要慌張，我自有辦法！”說完，就在嚴嵩的耳邊說了幾句。嚴嵩說：“這也是沒有辦法中的辦法，但恐怕徐老頭子會從中作梗，以至於壞事。”萬寀道：“不妨派個人去探一探，看那徐老頭子到底是什麼意思。”沒過多久便有人回報徐階的話：“我要是沒有嚴氏的提拔，就沒有這高官厚祿，我決不會負心”。鄢懋卿說：“這老頭子詭計多端，他的話怎麼能信？我們就照計劃去辦吧。”說完匆匆離開。
不到一天，就有詔旨將藍道行逮捕下獄，原來鄢懋卿想營救嚴世蕃，就賄賂內侍，陷害藍道行，並說鄒應龍就是受了藍道行的唆使才遞上奏折。世宗果然中計，竟然將藍道行捉拿。鄢懋卿等人又私下派人去說服藍道行，說隻要他將責任推給徐階，就可以脫罪。藍道行說：“除貪官是皇上的本意，糾貪罪是禦史的本職，關徐閣老什麼事？”這話傳到鄢懋卿的耳朵裏，隻弄得畫餅充饑，仍然沒有一點辦法。於是嚴世蕃被貶戍雷州衛，他的兒子嚴鵠、嚴鴻以及私黨羅龍文全部戍守邊疆，升鄒應龍為通政司參議。沒過多久，禦史鄭洛參劾鄢懋卿、萬寀朋比為奸，二人都被免官。隨後，工部侍郎劉伯躍、刑部侍郎何遷、右通政胡汝霖等人因為是嚴家的親朋好友，也被陸續罷去。
後來，朝旨又下，加恩嚴鴻為庶人，讓他侍奉嚴嵩回鄉。徐階見世宗又開始向著嚴嵩，恐怕遭來後患，急著想去上奏。世宗看見徐階，就召他上前，先開口說道：“朕日理萬機，不勝勞累。現在莊敬太子載壑雖然已經去世，幸好載垕、載圳都已經長大，朕準備現在禪位，退居西宮，專門祈求長生不老，你以為如何？”徐階急忙叩頭，上諫阻止。世宗又說：“嚴嵩輔政也有二十多年了，他的是非功過先不用說。單說幫助朕修煉始終不改這一條，就是他的第一誠心。如今嚴嵩已經還鄉，兒子也已經伏罪，誰還敢再說什麼？像鄒應龍這樣的人，朕決不寬恕，定當馬上處斬！”徐階大驚失色，唯唯而退。回到府中後，暗想：“嚴嵩已經離開，一時半會兒也不能東山再起，這還是件小事。隻是裕王載垕、景王載圳平時在待遇上沒什麼分別。載圳有意奪嫡，怕不是活動了後宮，才讓皇上說出今天的話，這件事情倒是不可不防。”
嚴嵩上路之後，藍道行死在獄中。嚴嵩到了南昌，馬上就是萬壽節了，就與地方官商議，在南昌城內的鐵柱觀中，請道士藍田玉等人為皇上祈福。藍田玉能畫下靈符，召來仙鶴。隻見他登壇誦咒，手裏捏著靈符，在香爐中焚燒起來，不一會兒工夫，居然有白鶴飛來，繞著祭壇盤旋了三周，望空而去。嚴嵩就和藍田玉交好，讓他傳授召鶴的密法，接著寫下祈鶴文，托巡撫代奏。沒過多久得到朝旨，世宗不但稱讚了他，還賞賜了金銀。嚴嵩隨即上表謝恩，並乘機申請：“老臣今年八十有四，隻有一個兒子嚴世蕃，還在千裏之外戍邊。臣死之後，連托付後事的人都沒有。請陛下賜臣的兒子回來，給臣養老送終。”誰料世宗竟不高興地說：“嚴嵩有孫子嚴鴻侍養，已經是特別加恩，還不滿足嗎？”嚴嵩聽了世宗的話，心裏非常沮喪。這時，卻忽然看見嚴世蕃父子從外麵進來，不禁又驚又喜，便問道：“你是如何被放回家的？”嚴世蕃說：“兒子不願意去雷州衛，所以自己逃了回來。”嚴嵩又說：“回來倒是好，但如果被朝廷得知，豈不是罪上加罪了嗎？”嚴世蕃說：“不礙事的。皇上深居西宮，怎麼會知道？隻是那徐老頭子……哼！恐怕他的腦袋就要保不住了。”嚴嵩驚奇地問：“為什麼？”嚴世蕃說：“羅龍文也沒去戍所，現在逃到了徽州歙縣，準備招集刺客，取徐老頭子以及鄒應龍的腦袋，給我泄恨呢。”嚴嵩跺著腳說：“這你就錯了！如今皇恩浩蕩，準許我告老還鄉，你惡行累累，卻沒有判重罪，隻是派去戍邊，我們父子仍然平平安安。有朝一日，皇上回心轉意，還有赦免的希望。你這麼做與叛逆有什麼差別？況且朝廷現在正準備加封徐階以及鄒應龍，要是知道你的陰謀，不但你我性命難保，恐怕嚴氏一族，也要滅門了。”嚴世蕃不以為然，正要狡辯，忽然聽到外麵人聲鼎沸。嚴嵩大驚失色。有人來報，說是伊王府差來三十名校尉，二十多名樂工，來索要幾萬兩銀子的欠款，要求現在就要付給他。嚴嵩歎了口氣說：“有這種事情？他也未免逼人太甚了。”