苦鄉在《嘉靖與嚴嵩》一書中還有這樣的描述：“在嚴嵩這個家裏，幾個孩子的生活起居和教育一直都是歐陽氏在負責，嚴嵩基本上沒有過問。歐陽氏深知，教子不嚴就等於是給家庭製造災難，因而，她對嚴世蕃斥責起來比之‘三娘教子’毫不遜色。一般家庭都是嚴父慈母，但在嚴嵩這個家庭卻是嚴母慈父。”
早年，由於妻子歐陽氏的規勸，嚴嵩對兒子管教還是很嚴。據《皇明大事記·嚴嵩》言：“馭世蕃尤嚴。”查繼佐的《罪惟錄》列傳卷三○《嚴嵩傳》中也記載：“林一新者，以僉事分巡，嵩仆有不法，執笞之。一新入賀京師，嵩甚加敬禮，其能重賢大夫若此也。”有一個叫林一新的官僚，任江西僉事，嚴嵩家的仆從有違法者，毫不留情地予以笞責，而嚴嵩不僅不予記恨，反而在林一新入京朝賀時，對他優禮有加，甚為敬重。《罪惟錄》還載：“約束家人，顧及大義，與徐階縱惡子橫行鄉裏，何啻天壤之別。”由此可見，嚴嵩並不是像後來史書記載那樣“縱子為惡”。
但由於嚴嵩的權勢過大，嚴府的仆隸自然成為士大夫爭相結交的對象。管家嚴年號萼山先生，公卿“得與萼山先生一遊者，自謂榮幸”（於慎行《穀山筆麈》卷四）。一個管家尚且如此，更遑論嚴嵩的寶貝兒子如何被眾人追捧。
《明史·嚴世蕃傳》記載：“朝事一委世蕃，九卿以下浹日不得見，或停至暮而遣之。士大夫側目屏息，不肖者奔走其門，筐篚相望於道。”
嚴嵩 26 歲中進士，因為既無社會背景，也無經濟能力參與官場競爭，所以官運坎坷，生活得提心吊膽。唯恐一著不慎，就會被人拉下馬來，所以一向自律很嚴。他多次辭免加秩、賞賜與恩蔭，3 次辭謝少師的官品，並屢次聞過即自劾求罷。嚴世蕃初入官場，嚴嵩還請旨嘉靖給兒子賦個簡僻閑職。隻是後來，賢惠的歐陽氏去世後，嚴嵩老來惜子，隨著對兒子依賴心越來越重，愛子護犢之心也越來越強烈。西方的基督教信奉因果報應末日審判，而儒家卻用一條血緣之鏈貫穿了一個人的前生後世。一個人可以不為自己考慮，但不能置家族和子女的利益於不顧。每個人都會算一筆人生得失賬，人的一生必定要做平一個等式：一生總收入等於一生總開支。節餘是遺產，虧損為債務。為官一生，總不能讓後輩子孫背負債務，而總想著能有節餘來恩澤子孫。於是有了晚節不保的五七、五八現象。為給子女留一份家當，使嚴嵩喪失了政治遊戲的原則和長期恪守的心理防範意識，把自己逼上了政治鬥爭的絕路。
樹高影長，權力大了貪欲和淫欲也會隨之膨脹。嚴世蕃靠父蔭進入官場，一出道就弄了個尚寶司的官，官職雖不算大，但由於有官二代的背景，則令人側目。他少小得誌，自然趾高氣揚，出門有一幫狐朋狗友前呼後擁。嚴世蕃依仗著父親的勢力狐假虎威，驕橫不法，胡作非為，以至朝野側目而視。
嚴世蕃聰明過人，生財有道。為了廣開財源而又不受言官的彈劾，在其任職的 20 年裏，公開娶回家或瞞著父母共娶了 27 房小妾，平均不到一年就要娶回一個。娶妾要祝賀上禮，小妾過生日還要祝賀上禮。今天王姓小妾過生日，明天趙姓小妾生了病，後天張姓小妾的父親辦喪事，大後天李姓小妾家出嫁娶親……每個月不空閑，總會有多起。公開拿錢賄賂太紮眼，送禮卻是人情，順理成章。攀龍附鳳之徒爭相送禮，金銀財寶滾滾而來。
據史載，封疆大吏趙文華從江南回京，送給嚴世蕃的見麵禮就是一頂價值連城的金絲帳，還給嚴世蕃的 27 個姬妾每人一個珠寶髻。
仇鸞承襲祖輩的封爵當了鹹寧伯，但隻是個閑職。他想謀宣大總兵，於是“以重賂嚴世蕃得之”。此類事例不勝枚舉。有錢的富家子弟想捐官，地位低的小官想升職，獲罪的官員想釋罪，嚴世蕃成為眾官爭相巴結的對象。
嘉靖的第三子裕王朱載垕，按例應被立為太子，但嘉靖對他不是很親近，因此，嚴氏父子對他也很冷淡。就連照例每年該給裕王府的歲賜，戶部一連 3 年都沒給發放。最後，這位未來的皇帝湊了 1500 兩銀子送給嚴世蕃，嚴世蕃欣然接受，才疏通戶部給補發了歲賜。嚴世蕃每每向人誇耀：“天子的兒子尚且要送給我銀子，誰敢不給我送銀子！”
《明史·嚴世蕃傳》記載：
世蕃熟諳中外官饒瘠險易，責賄多寡，毫發不能匿。其治第京師，連三四坊，堰水為塘數十畝，羅珍禽奇樹其中，日擁賓客縱倡樂，雖大僚或父執，虐之酒，不困不已。居母喪亦然。好古尊彝、奇器、書畫，趙文華、鄢懋卿、胡宗憲之屬，所到輒致之，或索之富人，必得而後已。
嚴世蕃在生活上也是極盡奢靡淫亂，納妾就有 27 個，其他的侍女、丫鬟更是無數。嚴世蕃用象牙床，圍著金絲帳，朝歌夜舞。更令人歎為觀止的是，嚴世蕃還發明了“美人盂”：從買來的奴婢中，選年輕貌美的，令她終日跪在房中伺候，什麼時候聽主子一聲咳嗽，美人立刻張開櫻桃小口，接住從主子嘴裏吐出來的濃痰，強忍著惡心咽進肚裏，這就叫“美人盂”。當時的豪族富戶爭相效仿嚴世蕃，誰家權勢熏天財大氣粗，誰家就要擺個活生生的美人做“盂”，那“美人盂”越是光鮮漂亮，越能顯得主人身份顯赫，這種風氣一直延續到嚴氏父子失勢，才逐漸銷聲匿跡。
據民間傳說，明代著名的小說《金瓶梅》，就是影射嚴世蕃荒淫無度的生活。《金瓶梅》的作者蘭陵笑笑生是王世貞的化名。嚴世蕃小名慶兒，將東樓化作西門，直接用“慶”字為名，創造出小說中的人物。我無意考證此說的真假，但可以說明一點，嚴世蕃貪婪成性、生活糜爛卻跟小說裏的西門慶如出一轍。
這真可謂：官宦門第多紈絝，權臣衙內盡渣男。
周元《涇林續記》記載：
世蕃納賄，嵩未詳知，始置笥篋，既付庫藏，悉皆充牣。蕃妻乃掘地深一丈，方五尺，四圍及底砌以紋石，運銀實其中，三晝夜始滿，外存者猶無算，將覆土，忽曰：“是乃翁所貽也，亦當令一見。”因遣奴邀嵩至窖邊，爛然奪目。嵩見延袤頗廣，已自愕然，複詢深若幹，左右以一丈對，嵩掩耳返走，口中囁嚅言曰：“多積者必厚亡，奇禍奇禍，則嵩亦自知不免矣。”
古人言：“多行不義必自斃。”西方諺：“上帝要一個人滅亡，必先使其瘋狂。”從嚴世蕃的貪得無厭中，嚴嵩感到危機四伏。