嚴嵩長期專權，結黨營私。他極力培植死黨，並安插親信掌握機要部門，以固權勢。他以其子嚴世蕃為爪牙，聚類養惡，僅幹兒子就有三十餘人，尚書關鵬、歐陽必進、高耀、許熗等都是嚴嵩黨羽。通政司是負責呈送奏章的重要部門，嚴嵩為了控製這個部門，便任其義子趙文華為通政使，凡上疏奏章，必由趙文華將副本先送嚴嵩閱看，然後才上奏。徐階吏部文選和兵部職方是兩個低微的官職，但由於吏部文選負責辦理官吏的升遷、改調，兵部職方負責軍製等具體事宜，都比較機要。因此，嚴嵩也牢牢將其控製在手中，將親信萬寀和方祥分別任命為文選郎和職方郎。他二人經常拿上文簿由嚴嵩任意填發，時人稱二人為嚴嵩的“文武二管家”。
嚴嵩的擅權妄為和結黨納權，漸漸引起嘉靖帝的不滿。嘉靖三十七年（1558），刑科給事中吳時來、刑部主事張羽中、董傳策三人同日分別彈劾嚴嵩。嚴嵩以為這是受輔臣徐階指使，因此企圖追究三人，以便借此擠走徐階。但嘉靖卻無意窮追。不久，吏部尚書空缺，嚴嵩力推內親歐陽必進，但僅隔幾個月即被嘉靖罷斥。嚴嵩義子趙文華忤旨獲罪，嚴嵩也不能救。尤其是嚴嵩此時已年逾八十，難以勝任本職。嘉靖帝所下的手詔，語句多難以理解。過去隻有嚴世蕃能夠一覽了然，所擬答語也合嘉靖帝的心意。但嘉靖四十年嚴嵩之妻死去，在嚴嵩的請求下，嘉靖雖同意嚴世蕃不必護喪南歸而留侍京邸，但由於重孝在身，嚴世蕃不能入內閣代父票擬。嚴嵩無法答對嘉靖帝的手詔，便派人拿去問嚴世蕃，而世蕃在家日夜放縱淫樂，沉溺於女色之中，又不能及時作答。嚴嵩隻好勉力為之，卻往往言詞不清，甚至前言後語相互矛盾，經常不合世宗的心意。這樣，嚴嵩便漸漸失去了世宗的寵眷。
這時，又有方士蘭道行以扶乩得到世宗朱厚熜的信任。一次，世宗問蘭道行朝中大臣的奸賢，蘭道行便假借乩仙之意說：嚴嵩是最大的奸臣。世宗朱厚熜又問：上仙為何不降災除奸。蘭道行又借乩仙之意說：留待皇帝正法。之後，當禦史鄒應龍上疏揭發嚴嵩父子罪行時，世宗便把嚴嵩罷職，其子嚴世蕃與其門客羅龍文謫戍邊地雷州。這件事發生在嘉靖四十一年（1562）五月。可是，目無王法的嚴世蕃在去戍地的半途逃回了原籍。羅龍文也從戍所逃回徽州，往來江西徽州之間，與世蕃密謀策劃。嚴世蕃逍遙法外，仍在家鄉大治園亭，氣焰十分囂張。連他的監工奴見到地方官也趾高氣揚。嚴世蕃還假借建房之名，召集亡命之徒四千餘人充當衛士，出沒無常，劫掠士民，甚至昏夜殺人，奪人子女金錢。羅龍文又與海盜頭目汪直相勾結，圖謀不軌。後來，禦史林潤掌握了以上材料，就將嚴世蕃逃回原籍、誹謗朝政、專橫鄉裏、圖謀不軌等罪行上疏給皇上，世宗見到奏章後大為震怒，立即把嚴世蕃逮捕入京，並於嘉靖四十四年（1565）將嚴世蕃斬首。當惡貫滿盈的嚴世蕃臨刑時，市民們紛紛持酒觀看，無不拍手稱快。嚴世蕃被斬後，嚴府被抄，次年，嚴嵩也在一片淒涼、萬人詛咒中死去。
嚴氏父子專權，禍國殃民，流毒天下。他們是集奸詐、貪婪、專橫於一身的封建官員的典型，是封建社會肌體上的大毒瘤。嚴嵩之所以能專權，首先得力於他的權術。正如時人徐學詩所指出的：“嚴嵩權力足以假手下石，機械足以先發製人，勢利足以廣交自固，文詞足以掩罪飾非。而精悍警敏，揣摩巧中，足以趨利避害。彌縫缺失，私交密惠，令色脂言，又足以結人歡心，鉗人口舌。”憑借這一套嫻熟的權術，嚴嵩真乃左右逢源。
造成嚴氏父子專權的根本原因還是封建專製製度。嘉靖帝昏庸、好諂、護短等心理特征為嚴嵩專權提供了極好的機會，使他一步步得到皇帝的寵信。而皇帝的寵信又為嚴嵩立於不敗之地提供了護身符。所以盡管嚴嵩的奸猾貪詐為人所共知，而且不斷受到揭發彈劾，但由於皇帝的庇護，人們隻能望之興歎，徒喚奈何。曆史上禍國殃民的大奸臣、大貪官曆代不絕，其根源就在此。