霍顯聽說皇後死了大喜若狂，並且重謝了淳於衍。不過，毒死皇後的陰謀還是泄漏了。泄漏可能出自淳於衍之口，史書上記載，淳於衍總是在人前顯擺自己是霍家的“功臣”，再加上她在皇後死後突然暴富，明眼人一看就知道她立了什麼功，效了什麼勞。當然，秘密也可能是霍顯為了顯示自己的法力無邊，不經意說出去的。更大的可能是許平君死時的慘狀引起了劉詢的注意，於是劉詢下令徹查。包括淳於衍在內的有關人員全部被捕，投入監獄。消息傳到霍顯耳朵，她開始發慌。殺人滅口已經來不及了，走投無路之際，她隻好把內幕告訴霍光。霍光一聽就汗流浹背，質問她為什麼不先跟自己商量。霍顯泣道：“生米已煮成熟飯，懊悔也沒有用。你大權在握，隻有趕快想辦法挽救危局，第一件事就是馬上釋放淳於衍，她如果被囚得太久，認為我們不照顧她，抱著同歸於盡的決心，我們霍家就完啦。”
這個時候，霍光再正直無私也隻能這麼做了。假如他自己主動地揭發這場罪行，他的妻子必死無疑，更重要的是，這會讓他的政敵作為攻擊的把柄，到時候自己也可能牽連在內。於是，他晉見劉詢，一臉正直地建議劉詢放了那些人。劉詢畢竟年輕，一方麵懾於霍光的權勢，另一方麵一時也找不到皇後被謀殺的證據，隻好放人。霍顯的女兒霍成君在母親和父親的努力下當上了皇後。
劉詢和霍成君的感情很好。霍顯看到眼裏，喜在心頭。一心盼著女兒生下兒子，就是正式的皇太子，而她就是未來皇太後的娘。然而，就在霍成君當皇後的第三年，霍光去世。對國家而言，是巨星隕落；對霍氏家族而言，是靠山倒塌。始終在霍光權威籠罩下的劉詢終於解脫了。他先是封許平君的父親許廣漢為侯，又立許平君生的兒子劉奭當皇太子。霍顯得到消息後，“恚怒不食，嘔血”。她不但為自己當不成未來皇帝的祖母而生氣，更重要的是，如果許平君的兒子日後當了皇帝，並發現自己的母親是被毒死的，一定會追根究底，到時霍家就要大禍臨頭。一想起來，霍顯不由得毛骨悚然，索性一不做、二不休，為了斬草除根，她要女兒去毒死劉奭。
劉奭當時隻有8歲，要毒死這樣一個毫無防範之心的孩子本來易如反掌，可是，這樁謀殺案並沒有成功。一是因為20歲的霍成君還不足以擔任殺手的“重任”；二是劉奭的保姆忠心耿耿，不讓劉奭吃別人的東西，如果非吃不可，保姆先嚐，試驗是否有毒。結果，霍成君幾次下手，都未得逞。
然而，陰謀一經發動，就會露出蛛絲馬跡。事情終於傳入劉詢的耳朵，他察言觀色，也看出霍成君對劉奭不利，再聯係到前妻許平君的暴斃，以及宮廷內外的傳言，他幾乎可以確定其中必有可怕的內幕。此時他還不敢公開與霍家作對，但已決心采取行動。
當時霍光雖死，但他的家族勢力已經深入到整個中央政府的每一個重要角落，尤其是他們掌握了軍權和領尚書事。領尚書事是一個關鍵角色，凡是呈送給皇帝的奏章，都要領尚書事先過目，如果認為它可以，才把正本拿給皇帝看，否則就會被退回或扣留。皇帝就像瞎子，隻能看到“領尚書事”想讓他看的東西。再加上，皇帝沒有兵權，想動搖霍氏家族幾乎是不可能的事。
可是，外力雖然對霍家沒轍，但其內部卻先腐爛了。長期富貴和權勢使霍氏家族徹底腐化。首當其衝的就是霍顯，她公然與家奴馮子都私通，並且在京城大肆修建家宅。霍家的生活窮奢極欲，所用的馬車都用黃金作為裝飾，輪子用絲棉包裹，坐在上麵，毫不顛簸。
更要命的是，霍顯及其子女、女婿們，都自負地認為他們的權勢是鋼鐵鑄成的，就連皇帝也不放在眼裏。霍家的奴仆，也狗仗人勢。有一次，霍家的奴仆跟禦史大夫魏相的奴仆為了在路上爭道，起了衝突，霍家的奴仆火冒三丈，認為簡直是奇恥大辱，乃大發神威，一直打到禦史府，要拆掉大門，那些可憐的禦史們，隻好跪在地下，向他們叩頭求饒，事情才算罷休。
霍氏家族已跟所有非霍氏係統的人為敵，其中包括皇帝劉詢。劉詢明裏暫時無法與之抗衡，便慢慢架空霍家，將霍家的人從重要職位上一一移走。如果霍氏家族夠警覺的話，他們應該發現形勢的嚴重，略加收斂，還有苟延殘喘的可能。可是恰恰相反，他們愚蠢地采取了報複行動，想重新獲得權力。可惜，霍家這幫紈絝子弟根本沒有這個能力。
霍家的失勢是顯而易見的，於是，彈劾和揭發霍家的奏章、報告越來越多，霍氏家族大起恐慌。這時有個叫張赦的人給霍家出主意，讓他們說服太皇太後廢了皇帝劉詢。太皇太後是霍光前妻女兒的女兒，論起來，也是霍顯的外孫女。問題是，當霍氏家族掌握兵權的時候，這不失為好主意，如今，便是餿主意。更糟的是，這個餿主意竟被霍家的馬夫聽到，不小心泄露出去，並且傳到劉詢的耳朵裏。雖然這事因為牽連到太皇太後，最終不了了之，但留下了不利於霍家的口供，劉詢趁機再削霍家的權力，至此，霍氏家族幾乎全都被逐出權力中樞。