徐階表麵一副受寵若驚的樣子，心裏卻在磨刀霍霍，不扳倒頭頂上的首輔嚴嵩，作為次輔的自己隻能仰人鼻息。徐階摸準了嘉靖的脾性，要扳倒嚴嵩隻能請神仙幫忙。
徐階清楚，嘉靖身邊不能沒有道士。1524 年邵元節被召入宮，邵元節不僅有一身好武功，還曾先後拜範文泰、李伯芳、黃太初等道教一代宗師學道。精通道家術數，對周易八卦頗為精到。邵元節根據自己掌握某種自然現象而故弄玄虛，如同草船借箭的諸葛孔明。1525 年令拜雨雪，有靈驗。命為致一真人，統轄京城朝天、顯靈、靈濟三宮，總領道教。從此，長居京城，經常奉詔祈禱雨雪，累獲加封受賞。1536 年，加號為靖微妙濟守靜修真凝元衍範誌默秉誠致一真人。邵元節在一次求雨活動中，在天壇搭了 18 層雲梯，雲梯突然散架而喪生。1539 年，邵元節羽化，敕封大宗伯，諡文康榮靖。邵元節之後是陶仲文，但陶仲文也在 1560 年升天了。於是，徐階便向嘉靖推薦了藍道行。藍道行是山東道士，本事是會降紫姑扶乩。紫姑是何方神聖呢？是管廁所的。大家不要小看這廁所，內急的時候找不到廁所，比肚子餓了找不到飯館還嚴重，所以紫姑的乩語最靈。藍道行會降紫姑，自然本事不小。
《明史紀事本末·嚴嵩用事》記載了藍道行的一次法事：
會方士藍道行以扶鸞見得幸，上以為神。一日，從容問輔臣賢否，道行遂詐為箕仙對，具言嵩父子弄權狀。上曰：“果爾，上玄何不殛之？”詭曰：“留待皇帝正法。”上默然。
藍道行以占卜神準而得到嘉靖的寵信，嘉靖經常召藍道行入禁中，使預卜禍福。據於慎行《穀山筆麈》卷四記載：嚴嵩有密劄言事，徐階事先通報藍道行，藍道行降神仙語，稱：“今日有奸臣奏事。”看到嚴嵩的密劄，一生信奉道教的嘉靖有了“神啟”，對嚴嵩是忠是奸愈加產生了疑問。道士藍道行以扶乩為名，用沙盤代替“神”言。有一天，藍道行書符念咒，神箕自動，寫出 16 個字來，道是：“高山番草，父子閣老；日月無光，天地顛倒。”嘉靖皇帝看了，問藍道行：“卿可解之？”藍道行奏道：“微臣愚昧未解。”嘉靖皇帝自作聰明道：“朕知其說。‘高山’者，‘山’字連‘高’，乃是‘嵩’字；‘番草’者，‘番’字‘草’頭，乃是‘蕃’字。此指嚴嵩、嚴世蕃父子二人也。朕久聞其專權誤國，今仙機示朕，朕當即為處分。”嘉靖轉念一想又生疑問，再問藍道行：“既然上天明察，為何不殛殺二人？”藍道行從容答曰：“留待皇帝正法！”嘉靖默然心動。
說來荒唐，竟然是一次道教活動決定了嚴嵩的命運。
嘉靖有了除掉嚴嵩父子的心思，但畢竟不能說是因為得到了神示，他還要掩人耳目地等待契機。
1562 年，禦史鄒應龍忽上奏章，彈劾嚴世蕃貪汙受賄等不法之事，但奏章當時並未牽扯嚴嵩，隻講他“植黨蔽賢，溺愛惡子”。在眾大臣噤若寒蟬、萬馬齊喑之際，禦史鄒應龍何以敢挺身而出？是直接受徐階指使，還是察言觀色地感到“帝眷已潛移”，嚴嵩父子已經失寵？成為一個曆史之謎。而史書的記載卻有些離奇得近乎荒誕，說禦史鄒應龍的奏章緣於他所做一夢：他夢見自己騎馬出獵，看見東邊有一高樓，土基宏壯，頂覆秸稈。鄒應龍拉弓而射，大樓轟然坍倒。醒後，鄒應龍給自己鼓氣，莫非是神示讓我成就扳倒東樓（嚴世蕃）的吉兆？於是他翻身離榻奮筆疾書，連夜修成《貪橫蔭臣欺君蠹國疏》。
禦史與道士雙管齊下，對嚴嵩父子日久生厭的嘉靖，便下詔逮嚴世蕃入大理獄，“戍世蕃雷州衛，子嚴鵠、嚴鴻及其爪牙羅龍文、牛信等分戍邊遠衛”。嘉靖心裏很清楚，嚴嵩的所作所為都秉承自己的旨意，所以“皇恩浩蕩”，對嚴嵩予以寬大處理，令其致仕，“仍給歲祿”，還特宥嚴世蕃的一個兒子不必遠戍邊關，回老家伺候嚴嵩起居。
嚴嵩離朝後，多疑猜忌的嘉靖把以扶乩顯神示的藍道行砍了腦袋。身邊缺失了與自己談玄論道的人，嘉靖一直悒悒不樂，還表示自己要退居二線，當太上皇。遠在江西分宜的嚴嵩聞聽，知道帝意仍有念舊之情，就趁嘉靖的生日，在鐵柱宮使道士建醮為皇帝祈禱，親自撰寫《祈鶴文》獻上。嘉靖皇帝優詔答之。從這一係列的信息中，嚴嵩感到自己還有東山再起的機會。
而嚴世蕃不是個省油的燈，“世蕃未達雷州，至南雄而返。龍文亦逃伍，潛往歙縣，藏匿亡命刺客，一日被酒大言曰：‘要當取應龍與徐老頭，泄此恨。’階聞，厚為備”。嚴世蕃被嘉靖流放雷州，剛剛行至半道，他便擅自返回故裏，在家鄉南昌大興土木，修建豪華別墅。嚴世蕃不思收斂，反而酒後吐狂言：“哪天我得以卷土重來，一定要拿下徐老頭的人頭，鄒應龍也跑不掉！”
嚴嵩倒台，但保留下一條活命。當時滿朝大臣深恐遺虎為患，有人不停地諫諍，說嚴氏父子不殺不足以平民憤，但嘉靖心中有數，頒下諭旨：“日後誰再敢上疏劾奏追論嚴嵩、嚴世蕃父子，朕一定下令把他們與藍道行一同送斬！”