世宗熱衷仙道，無暇親理政事，而他為人好猜忌，想知道大臣們背著他都幹些什麼，所以就常常派出身邊的小太監到大臣們辦公的地方去探查。這些小太監來到夏言處，夏言隻顧忙於政事，不願答理他們，態度就顯得傲慢、孤高。而小太監們來到嚴嵩處，嚴嵩立即起身相迎，笑容可掬，拉著他們的手，請他們坐下，態度溫和地問寒問暖，說短道長，臨別還將大把大把的金銀塞到他們的衣袖中。這些小太監雖無職無權，但因為隨侍皇上左右，是皇上的耳目喉舌，且可以搬弄是非，所以他們的話具有舉足輕重的作用。他們受了夏言的慢待，自然說夏言的壞話；得了嚴嵩的好處，自然替嚴嵩說好話。長此以往，世宗對夏言便有了成見，而對嚴嵩則印象日佳。
經過一番慢慢滲透的功夫，世宗對夏言的不滿日益加深，嚴嵩見時機已經成熟，便打算公開向夏言發動攻勢。正巧，有一天世宗單獨召見嚴嵩，與他談到夏言，並問及他們之間的齟齬，嚴嵩認為這是一個求之不得的大好時機，便決定利用這個機會扳倒夏言。他先是假裝害怕地沉默不語，待世宗問緊了，他立刻撲倒在世宗腳下，全身顫抖，痛哭不已。世宗見一個六十多歲的老頭子竟然哭得如此傷心，料想他一定受了莫大的委屈，越發動了惻隱之心，連聲寬慰，叫他有話盡管說，不必有什麼顧慮。嚴嵩這才抽抽搭搭地訴說起來，他添枝加葉、無中生有地將夏言詆毀一番。為了增加可信度，他邊哭邊訴，淒切哀怨，就是鐵石心腸的人見了，也會心生憐憫。嚴嵩充滿戲劇性的表演，果然收到了令他滿意的效果，世宗對夏言的惱恨更甚。
事隔不久，碰巧出現了一次日全食，古人迷信，認為天象的變化與世事、時政有著必然的聯係，而太陽是帝王的象征，日食則為奸臣佞人慢君所致。嚴嵩又乘此機會陷害夏言，說這事應在夏言身上，天象已經警示，若不盡快處置夏言，不僅皇上不得安寧，天公還會再顯法力。世宗本來就十分迷信，經過嚴嵩這一攛掇，便更加深信不疑，於是在嘉靖二十一年（1542）六月下旨將夏言免職，遣歸老家。
夏言被免職，嚴嵩去掉了一塊心病，也搬掉了仕途上的攔路石，他接替了夏言所有的職務，進入了內閣，並奪得了內閣頭一把交椅——內閣首輔。從此，嚴嵩便肆無忌憚、為所欲為起來。為了進一步鞏固自己的勢力，對上，他還是諂媚逢迎；對下則大權獨攬，獨斷專行，並加緊網羅黨徒、栽植親信，在朝中的重要部門中安插了大批自己的黨羽爪牙，從而控製了朝中大權。很快地，嚴嵩的權勢便達到了炙手可熱的程度。
可惜，好景不長，時隔兩年有餘，世宗忽然又思念起夏言，派人捧旨前往夏言的家鄉，將他召回京都，重新起用，並官複原職，交還他原來的一切權力。
夏言卷土重來，對嚴嵩是個極大的打擊，夏言重任首輔，嚴嵩則依例降為次輔。眼看著剛到手的權柄又被奪走，嚴嵩內心充滿了嫉恨。而夏言從自己的遭遇中認清了嚴嵩的小人本性，對他的為人十分輕視、鄙夷，便不再像從前那樣抬舉他，而是處處打擊，不留情麵。對於嚴嵩所作的決定，他往往予以否定，全部推翻；嚴嵩所安插的私人，他一律斥退，毫不姑息。
夏言重掌大權，把嚴嵩顛倒過去的又都顛倒回來，把嚴嵩安插在朝中的心腹一個個地趕走，就如同把嚴嵩的羽毛一根根地拔掉，使得他無力撲騰。嚴嵩此時隻能聽任夏言的擺布，心中叫苦，咬牙切齒，表麵卻仍是笑語周旋，不露聲色。他暗地裏詛咒發誓，一定要報仇雪恨。