這是裴炎集團和武氏決裂的第一回合。第二回合是圍繞皇太後滅李行動展開的。當武承嗣建議殺韓、魯兩王的時候，武則天找裴炎、劉禕之、韋思謙等人來商量。但後兩人這時卻都唯唯諾諾，唯獨裴炎堅決反對。武則天對裴炎這種態度，自然十分憤怒。
利用的價值早就沒了，而矛盾又如此激化，武則天開始考慮除去裴炎了。在揚楚事變後，武則天與宰相裴炎的矛盾終於到了不可收拾的地步了，武則天開始向裴炎集團動手了。
徐敬業發動揚楚事變後，武則天和裴炎都想利用這次事變朝著有利於自己的方向發展。裴炎方麵需要控製叛亂，要使叛亂局限在江南一隅，不發展到中原來，否則，在那種情況下，時局的最高仲裁者將是徐敬業，而不是裴炎，他會被作為廢君的逆臣除掉；另一方麵，他又需要叛亂。對他來說，叛亂是迫使太後還政的一個籌碼，他可以借此向武則天施加壓力，逼她交出政權，取消臨朝稱製，使李旦成為名符其實的皇帝。
徐敬業舉兵的消息傳到東都，裴炎希望能拖延時間，等待事態的擴展，然後借此逼太後歸政於睿宗李旦。所以，他並不積極提出討論平叛之事。當武則天問裴炎平叛之計時，裴炎反而孤注一擲，以叛亂來要挾武則天，說：“皇帝年齡已長，卻不親掌政事，所以那些人才得到叛亂的借口。如果太後返政皇帝，則叛亂不討自平矣。”在裴炎提出以政治方法解決揚州問題意見以後，監察禦史崔察立刻上表指責他：“裴炎伏事先朝，二十餘載，受遺顧托，大權在己，若無異圖，何故請太後歸政？”意思是說裴炎身受先皇臨終之托，手握大權，知道叛亂卻不主張討伐，反而請太後歸政於當今天子，此中必有反謀。武則天借著崔察之言，命左肅政大夫騫味道、侍禦史魚承曄將裴炎逮捕下獄，審理此事。
對於裴炎是否參與了叛亂，曆來有不同的認識。郭沫若認為他是參與其中的代表人物。郭沫若在曆史劇《武則天》中設計的武則天審問裴炎的一幕很有代表性：
武則天：裴炎，你知罪嗎？
裴炎：我不知身犯何罪。
武則天：你身為宰相，圖謀篡奪天位，與徐敬業、程務挺等狼狽為奸，興兵作亂，荼毒生靈，你自問，當處何罪？
駱賓王：中書令裴炎要派遣他的外甥監察禦史薛仲璋奉使江都，並派遣程務挺將軍的親信給事中唐之奇作為隨員。他叫我八月初八的清早寅時，到天津橋取齊，一道趕赴揚州，幫同徐敬業起兵。
武則天：駱賓王，你去見過裴炎！
裴炎：怎麼？你還沒有死？
駱賓王：我感謝你啦。你和徐敬業、程務挺，裏應外合，是你自己想做皇帝。你還封了我為中書令。
武則天：中書令騫味道，你可把裴炎給徐敬業的一封密信念出。
騫味道：英國公麾下：孝逸南下，務挺西遷。緩刑白馬，靜待青鵝。詳由求仁麵達，不宜。裴炎頓首。九月四日。
武則天：我對這信的意思大體上是明白的，是裴炎要徐敬業慢慢起兵。由於程務挺已經調走，李孝逸已經率兵南下，情勢變了，所以不得不“緩刑白馬”。但這“靜待青鵝”一句卻也不懂，你們有人懂得嗎？
上官婉兒：裴炎他親自告訴我，青字是“十二月”，鵝字的行書是“我自與”。“青鵝”的意思就是說，等到十二月，我自己動手。他說到那個時候，估計程務挺可以從單於道調回洛陽了。他還給了我這麼一瓶砒霜，要我把它放進蓮子羹裏麵，毒死天後陛下，愈快愈好。
郭沫若作如此分析的依據，是唐人小說《朝野僉載》卷五所講述的一個故事：
裴炎為中書令時，徐敬業欲反，令駱賓王想辦法爭取裴炎一同起事。駱賓王靜思片刻，編出了一首歌謠曰：“一片火，兩片火，緋衣小兒當殿坐。”然後教裴炎莊上的小兒唱誦這首歌謠，越傳越廣，以至京城裏的童子都會唱。裴炎聽到後，乃尋訪學者進行解讀。於是，召來了大名鼎鼎的詩人駱賓王。裴炎幾次向駱賓王贈送寶物，駱賓王都不說。又送給他美女和駿馬，駱賓王還是不說。於是裴炎將一幅古代忠臣烈士圖拿出來與駱賓王共同觀賞，當看到司馬懿的時候，駱賓王問：“不知相公要解讀的是什麼謠言？”裴炎告訴他是“片火緋衣”之事。駱賓王聽後，當即退下，北麵而拜曰：“相公是真命天子！”
不過，無論是從現存史料或當時實際政治形勢分析，裴炎都不大可能具有篡奪帝位的野心。所謂謀反，隻是武則天加給他的一個罪名。崔察的話講得很明白，裴炎之罪與其說是對鎮壓反叛態度消極，不如說他想強化其受遺顧托的大權，不積極籌劃誅討，旨在逼太後還政，而不在支持叛亂。