顯慶元年（公元656年）後，武則天皇後的位子初定，開始參決大政。她一上來就促成宰相班子的進一步調整，三月，度支侍郎杜正倫被任命為黃門侍郎同中書門下三品。是以熟悉典故、善於辭章著稱的老臣，隋文帝時已知名，是李世民的“秦府十八學士”之一，貞觀年間兩次擔任中書侍郎。後在太子李承乾謀反事件中，受到侯君集的牽連，自交州都督任上作為罪犯流放出去。他無疑是長期以來受到長孫無忌一派排擠的人。不久前被平反入朝，現在又被任命為宰相了。雖然他和武則天的政見也許並不相同，但隻要他是長孫無忌的敵人就可以了，因為當前的主要敵人是長孫派。七月，對武則天做皇後持反對態度的崔敦禮被解除中書令的職務，降為太子太師同中書門下三品，不久他就莫名其妙地去世了。
顯慶四年（公元659年）隨著太宗時期最後一任宰相長孫無忌被清除，許敬宗成為剩下的唯一的宰相。武則天的宰相班子繼續擴大。這年陰曆八月，李義府也當上了宰相。未與武則天為敵的盧承慶、許圉師、任雅相等三人也於這一年當上了宰相。盧承慶出身於河北的書香門第，長期從事財政工作，這時被任命為戶部尚書以代替杜正倫。但第二年就因為戶部未能征集到足夠的賦稅而被派到地方任職，後來雖然沒能返回中央，卻一直任高官。許圉師是唐高祖幼年時期的小夥伴、唐朝初年平定長江流域時被殺的許紹的小兒子。許圉師在唐朝初年科舉考試中成為進士，居官後政績出色。任雅相似乎主要是做武將，曾一度任兵部尚書。公元661年陰曆四月，他擔任遠征高麗戰役的指揮官，在公元662年初期的戰事中被殺。
但皇帝和皇後可與之商榷朝政的宰相隊伍一直很小。太宗時期常有8名以上的宰相，現在隻有5人，隨著盧承慶於公元660年被免職又減少到4人，任雅相在公元661年離朝征伐朝鮮後宰相隻剩下3人。這三人是許敬宗、李義府和許圉師。公元662年末，許圉師因試圖掩蓋其子在狩獵時誤殺一人之事，被李義府逼迫離職，由上官儀代替。上官儀是隋煬帝末年被殺於揚州的隋朝大臣之子。為了避難，他當了和尚，是享有盛名的學者和作家。太宗初年，他被舉薦參加進士考試，先後在一些學術崗位上為太宗效勞，有時為皇帝的文章作些潤色工作。高宗時期，他是秘書省少監，以文章和詩聞名於世。後來正是上官儀支持高宗想廢掉武則天。公元663年，武則天的心腹李義府也因驕橫難製，被高宗革職流戍。
從這兩件事可以看出，在武則天逐漸走向政治前台的過程中，她遇到了來自宰相方麵的阻力，她必須想辦法加以克服。幾年來，在武則天政治發跡的過程中，雖然一度也有許敬宗、李義府等人擔任宰相，在外廷為她說話，但總的說來，她還控製不了宰相，不免處處受到宰相的掣肘。在宰相的任免上她還沒有足夠的發言權。李義府的被貶就是例證。武則天當時是不會情願李義府遭貶逐的，但她還沒有足夠的力量挽救李義府。反倒是任何一個受到皇帝信任的宰相都有可能給她以滅頂之災。要完全控製住宰相，在當時各種政治勢力的格局中，武則天還不可能做到。而如何擺脫宰相而不是受製於宰相，也就成為武則天的必然選擇。要想控製宰相，就要將反對自己的宰相排擠下去，將親信的人物安插到宰相的職位上。
上官儀垮台後，許敬宗是剩下的唯一長期任宰相的人，但他畢竟是72歲的老人了。武則天對大臣進行了又一次調整，以太子右中護、檢校西台侍郎樂彥瑋及西台侍郎孫處約為同東西台三品。麟德二年（公元665年）三月，又以司戎太常伯（即兵部尚書）薑恪為同東西台三品。就在這一年四月，再罷樂彥瑋、孫處約同知政事的宰相資格，以左侍極（左散騎常侍）陸敦信為代理右相。但一兩年後他們又都被免職，被高宗時期兩位最有成就的將軍薑恪和劉仁軌所取代，但他們兩個也經常離開朝廷去遠征。這一時期的宰相如走馬燈一樣換來換去，一方麵是武則天不斷把自己的意誌加於人事任免中，另一方麵，高宗及整個外朝的意誌也作用於宰相的任命。
乾封二年（公元667年）的夏天，高宗感到缺乏可靠的參謀，就任命了一批能力很強的新宰相。西台侍郎楊武，西台侍郎、道國公、檢校太子左中護戴至德，正諫議大夫、檢校東台侍郎、安平郡公李安期，東台侍郎張文瓘，並同東西台三品。但這批新宰相並不聽命於武則天。
不過，正當武則天的影響看來要削弱時，皇帝的健康再次惡化，公元672年末，太子奉詔監國。公元673年陰曆八月，太子在又不得不承擔受諸司啟事之責。這一年，皇帝的健康狀況如此不佳，以致召來著名的道家老醫生孫思邈給他治病。武則天抓住這一時機，以加強自己在政壇上的力量。有名的《建言十二條》就是在公元674年拿出來的，它是武則天執政前中期的重要政綱。她對高宗的管製也日趨嚴格。公元674年，高宗病情嚴重，出於種種原因，產生了讓位給武則天的想法。