嚴嵩富可敵國的家產看似刮自百官，但說到底是來自民間。百姓不堪其苦，憤而作謠：
介溪介溪，好不知幾。
福禍到頭終有報，隻爭來早與來遲！
日落西山善惡報淒涼晚景儆後人
嘉靖四十年（1561），嚴嵩已經年過80了。自嘉靖二十一年（1542）入閣以來，他在朝野中叱吒了20年，如今已經是風燭殘年，精力不濟了。但嚴嵩沒有見好就收的念頭，依舊把持著朝政。
其實早在嘉靖三十七年（1558），世宗就對嚴嵩的專橫產生了不滿。那年三月的一天，刑部給事中吳時來、刑部主事董傳策同時上書參劾嚴嵩。他們分別揭露了嚴嵩柄政以來的種種罪行，請求世宗“除惡務本”，“亟去嚴嵩父子”以謝天下。吳時來是朝中閣老徐階的學生，董傳策為徐階的同鄉。嚴嵩懷疑徐階是幕後主使，他密奏世宗：“三人同日構陷，必有人主使。”世宗於是下詔將二人下獄拷問，但他們都不承認有幕後主使，隻說是“太祖神靈教臣等為此言”。迷信神靈的世宗開始對嚴嵩產生了反感。
根據明代製度，凡朝廷重要文書，由內閣首輔先擬好，寫於票簽之上，然後送呈皇帝批準，這稱為“票擬”。嚴嵩年老體衰，已不能勝任這一工作，往往要兒子嚴世蕃入內閣值房，但此時嚴世番卻常常同諸妾在一起淫樂。嚴嵩沒有辦法，隻得硬起頭皮自己來寫。但他已老眼昏花，反應遲鈍，所擬之文往往詞不達意。有時送上去了，他又派人追回修改。這樣，世宗對嚴嵩的不滿日趨加深。
嘉靖二十一年（1542），宮中發生了“壬寅宮變”，十幾個宮女想要勒死世宗，終因過於緊張而沒能成功，但世宗從此卻再也不敢回大內居住，一直住在萬壽宮中。到了嘉靖四十年（1561）正月，萬壽宮因失火被付之一炬，世宗仍不想回大內，隻得住在另一處很小的宮殿玉熙宮中，他心中很不滿意，於是征詢嚴嵩的意見。
嚴嵩心裏隻想著皇上不願回住大內，就奏請世宗移居南宮，但他疏忽了一個細節：正統年間，蒙古軍隊大舉進犯，明英宗在太監王振的挾持下親征，被蒙古擄去，他的弟弟監國郕王朱祁鈺被主戰派大臣擁立為帝。次年，英宗南歸，但朱祁鈺拒不讓位。為防英宗與大臣合謀複辟，他就將英宗監禁在南宮。盡管英宗後來複辟成功，但是南宮總歸給人一種不祥之感。
世宗不滿意嚴嵩的建議，就轉而詢問徐階。徐階於是奏請世宗立即重修萬壽宮。世宗聽後非常高興，馬上準奏。徐階也馬上行動，次年三月，萬壽宮重新建成。之後，徐階被加官為少師；而給嚴嵩隻是多發了100石俸祿而已。兩人在世宗心裏的位置，在悄悄地發生變化。
此時，嚴嵩也覺察到世宗對他已大不如從前了。念及自己當權20年中所作惡事太多，嚴嵩怕日後終會身敗，便也想籠絡徐階，給自己留一條後路。
一日，嚴嵩在家中置宴，請徐階前往。酒酣之時，他將家人全都喊出來，同他們一起向徐階匍匐下拜，然後喟然長歎道：“我說死就要死了。我的這些家人，還要仰仗先生照顧。”徐階表麵上對嚴嵩大加勸慰，並指天發誓，道：“沒有嚴大人的提拔就沒有我的今天。我若是忘恩負義與嚴氏作對，天打五雷轟!”但徐階心中明白，除奸的時機已經到了。
一次世宗問道士蘭道行：“方今天下為何不太平?”蘭道行知道世宗已對嚴嵩不滿，便假借占卜列舉嚴嵩父子的罪行。世宗道：“如果這樣，上仙為什麼不除掉他們?”蘭道行又用扶乩之口道：“上仙要待皇帝親自除掉他們！”
禦史鄒應龍也認為除奸的機會已到。他上疏世宗，數列嚴嵩父子及嚴氏家族的種種罪惡，指出他們一家如此作惡，“民安得不貧，國安得不竭，天人災警安得不迭至”。疏上，世宗心動。他雖有意庇護嚴嵩，但對嚴世蕃的種種劣跡早已不滿，便降旨將嚴世蕃充軍雷州，命嚴嵩退出內閣，但每年仍給他發祿米百石。
嚴嵩去後不久，世宗心中鬱鬱不樂，傳諭徐階，要退居西內，專祈長生。徐階力陳不可。世宗道：“卿等不要我傳位，須奉君命，一同輔佐修煉才行。嚴嵩既退，其子嚴世蕃已服刑，敢再勸說於嚴氏父子不利的，和鄒應龍一起斬殺。”
嚴嵩知道世宗還眷念自己，便想奮力一搏。他賄賂世宗左右，揭發蘭道行的隱私，將其押往刑部，誘使他牽連徐階。但蘭道行拒不承認有罪，後得以釋放。
嚴嵩回到南昌時正逢萬壽節，他讓道士藍田玉建醮鐵柱宮。藍田玉善於招鶴，嚴嵩取了他的符瑞和自己的祈鶴文進呈世宗，世宗優詔褒獎。嚴嵩進而又道：“臣年八十有四，隻有一子世蕃及孫鵠，都遠戍邊陲，乞陛下將他們轉移到近地就養，終臣餘年。”但世宗沒有準許。思來想去，嚴嵩想到一個可以為他說情的人，那就是他的孫女婿——孔子第64代嫡孫、世襲衍聖公孔尚賢。他想，孔子是聖人，把他的後人搬出來，世宗不會不給個麵子。想到這裏，嚴嵩也不顧年老，風塵仆仆地來到孔府。
孔府門人見一個老頭來到門前，低著頭就要往裏進，馬上將他攔住：“此乃何地，豈容你隨意亂闖？”嚴嵩還在擺他的官架子：“老夫乃孔夫人祖父嚴嵩嚴惟中，你個小小孔府，老夫有何進不得？”門人冷笑一聲：“國有國法，家有家規。你自稱‘祖父’，又有何憑證？”嚴嵩執政20年，除了皇上，誰見到他都得趕著奉承，哪裏受過這種冷眼？他立時怒火中燒，大聲道：“你叫孔尚賢出來見我，看我嚴嵩是真是假！”
聲音驚動了孔府的啟事廳長官。他出來見一個老頭正指手畫腳地大罵，隧道：“吵什麼！此乃聖人府邸，何人如此放肆？”嚴嵩一看，不過一個小小的六品官，就又擺出官架：“老夫乃嚴嵩是也。……”話沒說完，便被啟事官打斷了，“嚴大人嗎？此處是孔府，不是你的內閣，況且你已歸老鄉野，還是循章為事的好。”說罷，轉過頭去，不再理他。
嚴嵩這才嚐到失勢的滋味。他忙換了一副笑臉，好說歹說，方讓這個一臉冰霜的啟事官答應去稟報孔尚賢夫婦。啟事官指著孔府大堂後麵與二堂相連的走廊間的兩條高腳長椅道：“嚴大人先在這裏歇息，一會再請您進去喝茶。”嚴嵩無奈，隻得忍氣吞聲，老老實實地坐在了板凳上。
孔尚賢夫婦聞報後，心知嚴嵩來意，頗感為難：要見吧，這位祖父在位之時飛揚跋扈，橫行一時，可謂作惡多端，怎好在皇上麵前為其求情？搞不好還會遭萬民唾罵；不見吧，他又是自己的長輩，既已來到府上，拒之不見，又不近情理。
權衡了一番之後，孔尚賢道：“三綱五常君為上。祖父如此，我們晚輩也無可奈何，由他去吧。”遂決定不見嚴嵩，但又不好直接駁了他的麵子，便告訴啟事官，不要理睬嚴嵩。
等了好久，嚴嵩也不見來人將他請入，而下人們又個個對他冷眼相待，連杯水都沒有。來來往往的孔府家人，知道他就是當朝奸相，更是連正眼都不看他一下。眼見西山日落，一天水米未進的嚴嵩實在堅持不住了。他終於明白，孔尚賢是不肯見自己。一聲長歎之後，嚴嵩灰溜溜地離開了孔府。“坐冷板凳”一說，從此在民間流傳開來。
嘉靖四十一年（1562），嚴世蕃在充軍雷州的路上逃跑回鄉。嚴嵩大驚失色，連呼“兒誤我多矣”！嚴嵩的這句話沒說錯。同年，南京禦史林潤上奏：“嚴世蕃遣戍後，逃回家鄉，與人天天誹謗時政。為建造宅第役使四千人，據傳還私通倭寇，恐發生不測之變。”世宗聞之大怒，馬上下詔再度緝捕嚴世蕃。嚴世蕃再入牢籠後仍舊氣焰囂張，振臂高呼：“任他燎原火，自有倒海水。”他仍愚蠢地將希望寄托在父親身上。但是這一次，他低估了徐階的能力。此時的徐階已是今非昔比，他下定決心要將嚴世蕃置於死地。仔細籌劃後，徐階最終利用皇上痛恨倭寇的心理，誣奏嚴世蕃通倭謀反並企圖逃往日本。世宗終於下詔殺掉嚴世蕃。
嘉靖四十四年(1565)三月，嚴世蕃被斬首於西市。是日，朝野彈冠相慶，舉國人心大快。同年同月，嚴嵩被削籍、抄家。
被抄家後的嚴嵩一無所有，他住到墓地，靠吃別人祭祀先人的供品艱難度日。兩年之後，即隆慶元年（1567），惡貫滿盈的嚴嵩終因老病而死，終年88歲。
嚴嵩把持朝政的20年。是明朝國力迅速衰退的20年，他沒有什麼治國的雄才偉略，隻懂得一心尋寵，竊權侵利，同其子及義子廣結黨羽，操縱國事。令士大夫側目屏息，不仁者奔走其門，行賄者絡繹不絕；令朝內紊亂，邊防迭險，舉國黑暗，人民疾苦。這個老賊的晚年，也終應了那句古語：“善惡到頭終有報。”