嚴嵩其人雖致權有方，但在籌劃邊防上卻絕無能耐。當時，邊防諸將知道嚴嵩當權，多把財物乃至軍餉賄賂了嚴嵩父子。嚴嵩父子有“大丞相、小丞相”之稱，隻要買通了這“二丞相”，連連失地也能官運亨通。否則，就是常勝將軍也必遭貶斥。因此，邊防大壞，軍士饑疲，無力阻擋韃靼人的進攻。嘉靖二十九年（1550年），韃靼部的俺答汗率兵長驅直入，直抵北京城下，京師危急萬分。嚴嵩作為當朝首臣，不僅不思抗擊，還遍囑諸臣，不得報告皇上。
嚴嵩對兵部尚書丁汝夔說：“塞上敗，可掩也，失利輦下，誰執其咎？”於是，兵部發出命令，各軍不得輕易出戰。待各路勤王大軍到時，嚴嵩又推薦他的親信死黨仇鑾作為全權指揮，節製諸路兵馬。明軍見城下韃靼兵燒殺搶掠，隻做壁上觀，如同隔岸觀火一樣地悠閑無事。嚴嵩遍示諸將，韃靼人無非是搶掠財物，搶夠了他們自然會退去的。果然，韃靼人不久就押著大批的女子和玉帛滿載而歸，這時的仇鑾就派幾路大軍跟在敵人屁股後麵送行，殺了數十個百姓，搶了一些財物而歸。
世宗雖信道教，似是不食人間煙火，但對敵人直逼城下，還是覺得難受，不禁要找個人泄憤。世宗把兵部尚書丁汝夔逮捕入獄，嚴嵩怕丁汝夔揭露自己，連忙向他保證自己不會讓世宗殺了他，但真當世宗發怒要殺丁汝夔時，嚴嵩又不敢出來為他講情，結果丁汝夔被殺掉了。臨刑前，丁汝夔大呼：“嚴嵩誤我！”
東南一帶的抗倭事宜，也被嚴嵩破壞得不成樣子。抗倭名將俞大猷為人清正廉潔，入京後沒有拍馬溜須，嚴嵩父子就心中不忿，找了個借口，將他下入獄中。俞大猷實在無錢賄賂嚴嵩，倒是朝中諸臣看不過眼，便湊了一些錢，送給嚴嵩，俞大猷才得以出獄，保全了一條性命。
當時，浙江一帶的倭患十分嚴重，軍隊的船隻有原定數額的十之一二，在嘉靖三十一年前後的三四年裏，沿海軍民被殺者竟達幾十萬人。嚴嵩不僅不去積極地組織抗擊，反而大肆迫害抗倭將領。抗倭將領張經曾大敗倭寇，斬首兩千餘人，是抗倭史上從未有過的巨大勝利。但因沒有賄賂嚴嵩在浙江的義子，竟被嚴嵩以冒功罪陷害致死。
嚴嵩父子驕奢不法，賣官鬻爵，十分猖獗。不僅朝中的官員對他大行其賄，外官若想升遷，也必須重賄嚴嵩父子，因此，內外官員的轉遷進退，不以賢否而定，均以賄賂多少而定。每日送往嚴嵩府中的賄賂，車載鬥量，不絕於途。甘肅總兵仇鑾因貪虐被革職，後來重賄嚴嵩，被收為義子，轉為京官，在韃靼人進攻北京後反得升遷。趙文華從江南還京，送給嚴嵩之子嚴世藩的二十七個姬妾每人寶髻一個，金絲幕一頂，嚴世藩猶嫌太少，因而被罷官。嚴氏父子在北京、南京等地所占的田莊多達一百五十餘所。侵占民田之多，更是令人咋舌，袁州一府四縣的民田，竟有十分之六七為嚴氏所占。
最有意思的還數嚴世藩的“朝廷兩不如”論。嚴氏之府富麗堂皇，內儲金銀珠寶無數，嚴世藩曾洋洋得意地說：“朝廷不如我富。”嚴世藩嬌妻美妾，列於兩旁，歌舞狗犬，陳於麵前，嚴世藩曾自鳴得意地說：“朝廷不如我樂。”
嚴氏父子的胡作非為自然引起了朝廷正直大臣的極端憤慨，其中最著名者當數沈煉和楊繼盛的劾奏。嘉靖三十年（1551年），錦衣衛沈煉上書世宗，列舉了嚴嵩的十大罪狀，其中主要包括廢弛邊防、賣官鬻爵、陷害忠臣等，要求殺嚴嵩以謝天下。嘉靖三十二年（1553年），兵部侍郎楊繼盛又上書世宗，列舉了嚴嵩的五奸十大罪。五奸是：厚賄內官，使之成為間諜，為他通風報信；控製掌握奏章的部門，蒙騙皇上；勾結廠、衛，使之成為自己的爪牙，籠絡言官；網羅臣僚，使這些人成為自己的心腹。十大罪是：以丞相自居；壞祖宗成法；假傳聖旨；冒領軍功；納賄營私；引用奸邪；廢弛邊備等。
麵對這些劾奏，嚴嵩卻自有應付之道。每當有劾奏入內，嚴嵩都裝出一副誠惶誠恐又十分可憐委屈的樣子。世宗因崇信道教而委政於臣，偶爾處斷一事，卻要顯出十分英明的樣子，特別是他的多猜疑而又剛愎自用的性格，斷事之時好標新立異，以此震懾群臣。
嚴嵩日侍左右，自然摸透了世宗的這一性格，遇到有人彈劾自己，就跪在世宗的麵前，顯出孤立無助的樣子，自認有罪，未能盡職，以至得罪臣僚，請求罷官歸去。他越是這樣，世宗越是不允，反倒說：“嚴嵩曲謹附我，讚我玄功而得罪於朝臣，我自當保護他。”這樣一來，劾奏之人可就遭難了。沈煉被貶到保安，但他並不屈服，他紮了三個草人，標上“唐代奸相李林甫”、“宋代奸相秦檜”、“明代奸相嚴嵩”字樣，用箭射之以泄恨。嚴嵩知道後，當即予以殺害。
楊繼盛一案更是轟動一時，楊繼盛自知上書必死，還是毅然而決。《明史》對此給予了很高的評價。後楊繼盛果然被嚴嵩誣陷殺死。至於其他遭受迫害的言官，那就很難數得清了。
嚴嵩因趨奉世宗崇信道教而興，也因世宗崇信道教而敗。有一個叫蘭道行的方士，善於扶乩，十分得世宗信任。一次，世宗問誰是當朝最大的奸臣，蘭道行扶乩的結果竟是嚴嵩，世宗不能不信。這時，嚴嵩的妻子病故，嚴世藩在家守母喪，不能到朝中辦事。過去朝中每有緊急奏章，都由嚴嵩交給嚴世藩，讓他揣摸上意，寫好意見，再由嚴嵩送上去，一般說來世宗都很滿意。現在嚴世藩不在，就得由嚴嵩親寫，嚴嵩老眼昏花，不僅文辭不通，還多忤上意，世宗就開始討厭嚴嵩了。