因擁護廬陵王之功，吉頊已經官至吏部侍郎兼宰相，且被武皇視為心腹。吉頊為此深感得意。他認為這是他一生中做得最正確的一次政治選擇，而且隻要繼續站在這個政治隊列中，今後的仕途必將一帆風順。然而吉頊似乎沒有意識到，正因為他在擁護廬陵王這件事上表現得太過鋒芒畢露，所以早已成為諸武的眼中釘和肉中刺。而武皇介於李家和武家之間，其心態也一直是複雜而矛盾的。可吉頊卻被自己迅速到來的成功所陶醉，並未充分意識到諸武的敵意，更嚴重低估了諸武在武皇心目中的份量，因而最終葬送了自己的仕途和前程。
事情緣於這年正月的一次朝會，當時吉頊因某事與武懿宗爭功，雙方當著百官和武皇的麵大吵起來。吉頊身材魁梧，聲若洪鍾，原本口才就十分了得，一吵起架來更是聲色俱厲，咄咄逼人；而武懿宗則矮小傴僂，一激動就麵紅耳赤，說不出話。所以這場架就出現了一邊倒的局麵——吉頊居高臨下，氣勢洶洶，武懿宗則是結結巴巴，汗如雨下。
武皇端坐在禦榻上冷冷地看著這一幕，心中大為不悅。當天散朝後，武曌便對左右說了這麼一句話：“吉頊在朕的麵前，尚且看不起我們武家人，要是到了將來的某個時候，這種人豈能依靠？”
吉頊就此徹底失去了武皇的信任。
可他似乎對此渾然不覺。
後來有一天，吉頊奏事的時候，又在武皇麵前說古論今，旁征博引，口若懸河，滔滔不絕，武皇終於勃然大怒，厲聲打斷了他：“夠了！你這一套朕早就聽夠了，朕不想再聽你的廢話！”隨後，武皇就拋出了她那個經典的“獅子驄故事”。她說，“太宗有馬名獅子驄，肥逸無能調馭者。朕為宮女侍側，言於太宗曰：‘妾能製之，然須三物，一鐵鞭，二鐵撾，三匕首。鐵鞭擊之不服，則以撾撾其首，又不服，則以匕首斷其喉。’太宗壯朕之誌。今日，卿豈足汙朕匕首邪？”（《資治通鑒》卷二○六）
你難道自認為有資格弄髒朕的匕首嗎？
最後這一句讓吉頊心膽俱喪，如夢初醒。他極度惶恐地拜倒在地，頻頻磕頭請求武皇恕罪。然而，現在清醒已經來不及了。諸武隨後便群起而攻，指控他幫助弟弟詐冒資蔭騙取官職，武皇旋即將吉頊貶為安固（今浙江瑞安市）縣尉。
從一個堂堂宰相貶為邊遠地區的九品小吏，吉頊內心的痛苦不言而喻。臨走之前，吉頊懷著最後一絲希望去向武皇辭行，說：“臣今遠離朝廷，今生恐無再見之期，想說一句話。”武曌讓他坐下，問他想說什麼。吉頊說：“土和水，和合成泥，二者會不會爭執？”
武曌說：“那當然不會。”
吉頊又說：“如果分一半塑造佛像，另一半塑造道家天尊呢？”
武曌說：“那爭執就大了。”
吉頊倏然起身，倒頭便拜，朗聲說：“宗室、外戚若能各安本分，則天下安寧。今太子已立而外戚猶然為王，這是陛下驅使他們日後互相爭鬥，使雙方都不得安寧啊。”
無論吉頊臨行前的這番進言是否包含私心，這句話還是一針見血地指出了帝國當下最嚴重的問題。
武曌聽完後悵然一歎，說：“朕也知道……可是事已至此，又能如何？”
吉頊張口還想說什麼，武曌已經無力地揮了揮手，示意他退下。吉頊徹底絕望，當天就失魂落魄地踏上了貶謫之途，不久後就在貶所抑鬱而終。
吉頊的落敗固然與他的驕矜自負和鋒芒畢露有關，但最根本的原因，還是在於武曌容不下他。對於此時的武曌而言，盡力調和李武，維持李武的政治均勢和利益平衡是她最重要的任務，吉頊在“李弱武強”的時候擁護李家，這當然符合武曌的原則，所以吉頊才能夠青雲直上；但是到了廬陵王被立為太子之後，吉頊卻不知道及時調整自己的政治姿態，仍然在“尊李卑武”的道路上高歌猛進，這當然就極大地觸犯了武曌的原則。
就像武曌與吉頊的最後那場對話所反映出來的一樣，雖然武曌明知道自己的“平衡原則”實際上是在掩蓋矛盾，不是在解決問題，但是武曌卻寧可這麼做。因為她並不希望為了解決問題，而在自己的有生之年看見李家和武家任何一方遭受損害。至於吉頊所說的李武的矛盾會在未來激化，那就不在武曌的考慮範圍之內了。換言之，對於眼下的武曌來說，擱置矛盾遠比解決問題更聰明，在和稀泥中保持各方的相安無事也遠比用自己的右手砍斷自己的左手更明智！
從這個意義上說，吉頊的丟官和仕途命運的變化，就不僅是李武暗中角力的結果，同時更是武曌矛盾心態的寫照。
久視元年的吉頊事件充分說明，李武之間的政治宿怨已經為帝國的未來埋下了巨大的隱患。而這幾年來，李武之外的第三股政治勢力——以二張為代表的男寵又忽然間強勢崛起，頓時使得未來的政局變得更加撲朔迷離。
武曌已經七十多歲高齡，作為幾十年來帝國的實際掌舵者，她的鐵腕統治固然嚴厲而高效，能夠在大體上維持政局的穩定，但恰恰是這一點加大了未來的變數。因為這種極權型的政治領袖一旦過世，所有被壓製著的矛盾就必然會集中爆發，宗室、外戚與男寵這三種不可調和的政治勢力也勢必會圍繞帝國的最高權力展開殊死博弈，到那時候，局麵會不會變得不可收拾？
久視元年深秋的一天，帝國朝堂上一位德高望重的棟梁人物又在蕭瑟的秋風中溘然長逝，更是讓朝野上下的有識之士感到憂心忡忡，同時也讓年老的女皇武曌感到了巨大的悲傷和失落。
這個人就是狄仁傑。