有這樣一個細節：嘉靖有一回夜傳聖旨，詢問某事當如何處理，票擬頗難。嚴嵩與大學士徐階、李本在值班房仔細商議，每人各寫一帖，提出處理意見。可是經過反複斟酌修改，3 人仍覺不妥，始終不敢謄清呈進。嚴嵩隻好派人飛馬向嚴世蕃求教。時間已過四更（深夜 1—3 點），“中使守直房迫促”，太監反複索取票擬幾次了，說皇上“嫌遲滯，有怒容”，要求立刻回報。“嵩引領待片紙，不得至，乃自以意對”，不得已，3人隻好將商議的票擬謄錄上呈。“既至，追還複改，大抵故步皆失”，太監將 3 人所擬揭貼拿回，隻見皇帝朱筆在上麵塗抹了好多處，令重新擬過。恰在這時，嚴世蕃的回帖來了，照其票擬上呈之後，皇帝頓時滿意，依擬照辦。自此，皇上時有要務難題，嚴嵩等閣臣謀之困窘不能作答者，即交於世蕃，世蕃則引經據典，參綜陳說，每每都能獲得皇帝的嘉許。
嘉靖喜歡讀經史諸書。遇有不解其意的，便用朱筆寫在紙片上，令太監交於嚴嵩等值班閣臣講解，立等回話。一天晚上，類似的詢問之旨又到了，可嚴嵩與徐階等值班閣臣皆不曉其義，惶恐無措。嚴嵩安慰眾人說：“無過慮！”隨即密錄皇帝所問，令人從西苑宮門門縫中傳出，飛馬送至相府，要世蕃立馬作答。世蕃當即指出此語在某書第幾卷第幾頁，作何解釋。嚴嵩等人找來該書翻檢，果然如此，遂按其解釋並附書呈送。如此一來二往，嚴嵩“朝事一委世蕃”。所以在嚴嵩當權期間，京城內外流傳著“大丞相、小丞相”的說法，小丞相即指嚴世蕃。
《明史紀事本末·嚴嵩用事》記載：
歐陽氏卒，世蕃當護喪歸，嵩上言：“臣老無他子，乞留侍。”許之。以孫鵠代行，世蕃因大佚樂，幹預各司事如故。然不得入直房代議，間飛劄走問，則世蕃方擁諸姬狎客，徵逐胡盧，不甚了了，亦不能得當如往時。
1561 年，嚴嵩的夫人歐陽氏病故。依禮，嚴世蕃應該扶梓歸葬，並在家中丁憂 3 年。如若失去嚴世蕃的出謀劃策，嚴嵩就沒了主心骨。於是嚴嵩上表嘉靖，說自己年事已高，請允許兒子留京服侍自己，讓孫子代兒子扶靈柩回葬老家。嘉靖恩準了嚴嵩的請求。嚴世蕃雖然身有喪服，不能入值朝房，但“幹預各司事如故”。
嚴世蕃也真屬於紈絝子弟，服喪期間仍大行淫樂。每逢嚴嵩有嘉靖手詔傳送回家，嚴世蕃“擁諸姬狎客”，嚴嵩派人來問對策，也不及時回答，隻管自己淫樂，全然不顧老爸心急如焚。嘉靖是個性急的人，哪裏能容忍嚴嵩磨磨蹭蹭，嚴嵩又不能說以前都是嚴世蕃參謀，隻好硬著頭皮自己“不得已自為之”，自然是答非所問，“往往失旨”，惹得嘉靖大為不滿。有時嘉靖派宦官急赤白臉，狂催嚴嵩擬旨草文什麼，老子在這裏急得火燒眉毛驢跳牆，而兒子那裏照樣喝酒娛樂禦女，每夜每餐從不間斷。有時酒醉酣睡，恰遇嚴嵩有要事相詢，便用大臉盆裝滿滾沸的開水，將毛巾浸於其中，然後趁熱提出，圍頭三匝，稍涼再如此更換，圍上幾回才醒來。奇就奇在嚴世蕃似有特異功能，一旦稍醒，就能舉筆裁答，處置周全，措辭得當。
《皇明大事記·嚴嵩》載有一些嚴嵩家事，如“嵩妻歐陽氏甚賢，治家有法，嵩亦相敬如賓，旁無姬侍”。查繼佐的《罪惟錄》中也有記載：“華蓋殿大學士旁無姬侍。”嚴嵩可稱得上是個對愛情忠貞不渝的人。嚴嵩與原配歐陽氏白首相敬，終生未納妾。明朝的官員納妾成風，有一定品級地位的官員，“飽暖而思淫欲”，如果不擁有正房、偏房，就好像生理不正常。嚴嵩的前任首輔夏言有一妻七妾，後任首輔徐階有一妻五妾，在妻妾成群的官場，像嚴嵩這樣一生不曾納妾的可以說是鳳毛麟角。嚴嵩是靠個人奮鬥獲得功名的，他的私生活嚴肅正派，其平日生活儉樸，不尚奢華。入閣後，每日隻吃宮中配給的飯食，而有的閣臣則從家裏送來佳肴，對配食不屑一顧。
據民間記載，嚴嵩在故鄉的口碑很好，朱國楨《湧幢小品》中亦有記述：“分宜之惡，譚者以為古今罕儷。乃江右人，尚有餘思，袁人尤甚，餘過袁問而親得之。可見輿論所評自有不同處。”據分宜村的女書記告訴遊人，嚴嵩與歐陽淑端的父親同為本地秀才，嚴、歐兩家均為分宜當地望族，當時分宜有“南有歐陽北有嚴”（嚴嵩故裏那時在老縣城以北）之說，兩家關係甚好。少時兩家父母就為子女定了娃娃親。起初所定親，並非嚴嵩後來的妻子歐陽淑端，而是歐陽淑端的姐姐。後來歐陽淑端的父親經商致富，而嚴嵩還是一副沒有出息的樣子，甚至吃了上頓沒下頓，於是歐陽淑端的父親就想悔婚。13 歲的歐陽淑端勸說父親和姐姐萬萬不可做這樣嫌貧愛富、背信棄義的事情。姐姐不聽，歐陽淑端就代姐姐出嫁，以保全歐陽家的名譽。歐陽淑端的父親大怒，認為此舉是丟了他的臉麵，要處死歐陽淑端，還是母親以命護女，把她交給一個族伯撫養，成年後才與嚴嵩完婚。
沈德符《萬曆野獲篇·內閣·居官居鄉不同》載：“嚴分宜作相，受世大垢，而為德於鄉甚厚，其夫人歐陽氏，尤好施予，至今袁人猶誦說之。”雖然史書說嚴嵩是娶了個外秀內慧的夫人，但恐怕與事實不符。歐陽氏比嚴嵩大 1 歲，家譜說她臉上還留下了小時候得天花的小麻點。可見外秀稱不上，但內慧卻名不虛傳。歐陽淑端與嚴嵩育有二女一男。雖長相差點卻非常賢惠有德，按民間說法有旺夫相。歐陽淑端嫁入嚴家，孝敬公婆，相夫教子，團結鄰裏，享譽一方。家譜中稱她“助公食貧力學，比貴不失素風，與公白首相敬”，算得上是患難夫妻。當年嚴嵩隱居鈐山苦讀，就是賢妻歐陽淑端的主意。嚴嵩曾戲言說：“聽說諸葛亮妙計百出，很多都來自他的醜婦黃氏。我嚴嵩以後若有擔當社稷大任的機會，一定離不開你這個夫人軍師。”有一年，當朝名士王守仁路過分宜縣，順便去拜訪嚴嵩，見歐陽氏親自奉茶倒水，有些意外。嚴嵩說：“縫補漿洗是她所為，孩子啟蒙是她授課。家中油鹽醬醋茶所費，也由她紡織換取。”王守仁感慨萬千：“一個富家小姐，命官夫人，如此任勞任怨，世所稀也！”