來濟，揚州江都(今江蘇揚州市)人。其先世並不顯華，但父親來護兒是隋代名將，官至左翊衛大將軍，封榮國公。貞觀時，來濟拜太子司儀郎兼崇賢館直學士。永徽二年，拜中書侍郎。四年，同中書門下三品。五年，加銀青光祿大夫，封南陽縣男。六年，遷中書令，檢校吏部尚書。
從家世和身份來看，這些人幾乎都是士族的後裔，身為宰相，權傾內外，無論是政治上還是經濟上，都擁有雄厚的資本。
爭論的另一方是所謂庶族官僚，寒門士子。其代表是李、許敬宗、李義府、崔義玄、王德儉、袁公瑜等人。
李，曹州離狐(今山東東明)人。本姓徐，隋末參加瓦崗軍，降庸後賜姓為李。祖上是山東土豪，沒有名人。本人屢經戰陣，在維護唐朝版圖方麵有很大的功績。封英國公，出將入相，地位較高。但不是“元從將領”，沒有參加“玄武門之變”，也不是擁立晉王的功臣。因此，多少受到太宗猜忌。貞觀二十三年(649)四月，太宗病危，曾對太子治說：李才智有餘，但你對他沒有恩澤，恐怕不能駕馭。我現在準備將他貶出朝去。如果他馬上動身走，我死後，你就把他用作宰相，當成親信；如果他徘徊觀望，那麼我就把他處死，給你解除後患。於是將李貶往千裏之外的疊州(治所合川，在今甘肅迭部縣一帶)。李明白太宗的心事，接詔後沒有回家就前往貶所。高宗即位後，按照太宗的遺旨，任命李為開府儀同三司、同中書門下三品、左仆射。但李知相權掌握在長孫無忌等人手中，固求解職。高宗遂解除李的左仆射，隻留下開府儀同三司、同中書門下三品相當於宰相的空名號。因此，實際地位遠遠不及長孫無忌。
許敬宗，杭州新城(今浙江富陽西南)人。其先祖自高陽南渡，世世代代在南朝作官。祖亨，陳衛尉卿。父善心，陳通直散騎常侍，隋禮部侍郎，在江都被宇文化及殺死。門第雖不很高，但仍屬於士族。其人頗有學問。初為秦王府十八學士之一，後在太宗之世一度掌執樞密，又嚐為太子右庶子。高宗即位後，他資格很老，卻未能複登相位。又因嫁女於少數民族首領馮盎，多收財賄，一度被貶為鄭州刺史。後雖拜禮部尚書，但總覺得自己才高位卑，不甚得意。
李義府，瀛州饒陽(今屬河北)人。先世曾居四川，家境寒微。有辭學，善屬文。劍南道巡察大使李大亮薦於太宗。據說太宗令其賦詩，立成，有“上林許多樹，不借一枝盝”之語。太宗大悅，言“吾將全樹與汝，豈惟一枝”。後在劉洎、馬周等人的推薦下當了監察禦史、太子舍人，加崇賢館直學士。劉洎被殺，馬周病故之後，李義府久不得誌。及長孫無忌輔政，李義府更加感到自己隨時都有被貶官的危險。
崔義玄，貝州武城(今山東武城縣西)人。出自清河崔氏南祖房。但自五代祖以下，皆無名位。因此，已算不上士族。據兩《唐書》本傳，義玄隋末投靠李密，未得一官半職，後拉攏大將黃君漢降唐。永徽初，任婺州刺史。以鎮壓陳碩真起義之功，拜禦史大夫。
王德儉，幽州(今北京市)人。曾祖清，梁安南將軍。祖孟，陳東衡州刺史。父纊，楚州刺史。德儉永徽年間官至中書舍人，是許敬宗的外甥，而多智，時人號曰智囊。
袁公瑜，陳州(今河南周口市一帶)人，曾祖虯，魏車騎大將軍、行台大都督、汝陽郡開國公。祖欽，北周昌城太守，汝陽郡開國公。父弘，唐雍州萬年縣令、舒州刺史。公瑜年19，調補文德皇後挽郎。曆任大理司直、晉陽縣令、大理寺丞、兵刑二部員外郎、兵部郎中、禦史中丞等職。
這些人的出身比較複雜。有的是士族，但更多的是庶族。當時，他們有一個共同的特點，就是政治地位較低，受到宰相集團的排擠。
以長孫無忌為首的一派，反對立武則天為皇後。原因是：其一，如果立武則天，勢必要廢王皇後。王皇後是唐太宗托付給他們的。若同意廢掉，別人會說有負遺旨。其二，武則天曾當過太宗的才人。若擁立武氏，會有損於他們的體麵，違背傳統觀念，給他人留下離經叛道的口實。其三，王皇後與他們有千絲萬縷的聯係，王皇後的地位與他們的利益密切相關。廢王立武，勢必損害他們的既得利益。這一點是最重要的。
以李為首的一派，支持立武則天為皇後。主要原因是：他們對長孫無忌等人獨掌相權、把持仕途的局麵深惡痛絕。他們不滿現狀，要求改變現狀，企圖通過廢立皇後的辦法來提高自己的政治地位。
因此，這兩個派別之間的衝突，從表麵上看來好像是士庶之爭，因為一派全是士族，一派以庶族為主；但從鬥爭的具體內容上看，並不是純粹的士庶之爭，而主要是維護或奪取相權的權利之爭。
永徽六年(655)初，唐高宗開始謀劃皇後廢立之事。衰公瑜、許敬宗揣時希旨，暗中表示支持。唐高宗和武則天認為，要實現皇後廢立，長孫無忌是一個重要人物。因為他既是國舅，又是顧命大臣。如果他同意了，就會減少許多阻力。因此，他們雙雙來到長孫無忌的府第。酒酣，破格提升長孫無忌的三個兒子為朝散大夫，並賜給金銀寶器各一車，綾綿十車，試探這位國舅的態度。然後趁無忌高興的時候，高宗歎息一聲說：王皇後無子。意思是暗示無忌，希望他感恩戴德，同意廢王後而立武氏。長孫無忌心裏明白，但不順從高宗的旨意，故意打岔子，說些別的事。二人碰了釘子，感到極為掃興，憤然回宮。後來武則天又派母親楊氏和許敬宗前去說情。長孫無忌更不客氣，幹脆頂了回去。
唐高宗本欲長孫無忌回心轉意，沒想到他竟如此頑固，心中有說不出的惱怒。但無忌既是舅舅，有擁立之功，又是顧命大臣，權勢很盛，不好隨便處置。他隻好忍氣吞聲，把自己的心事暫且擱下。可武則天卻咽不下這口氣，她是不肯屈居王皇後之下的。她相信，憑著高宗的寵愛和自己的機智，總有一天，她會如願以償的。因此，一點也不灰心。這年三月裏，她寫了一篇《內訓》，儼然以皇後的身份自處。