正在這時，原殿中侍禦鄭情因諂事張宗昌兄弟，被貶為宣州司事參軍，在宣州又貪贓枉法，為躲避法辦，逃入洛陽，投靠武三思。鄭情拜見武三思，先大哭，既而又大笑。武三思甚感奇怪，問道：“你這是為什麼?”鄭情說：
“開始見大人而哭，是哀傷大人將遭誅殺而滅族。後來大笑，是高興大人得到了我鄭情。大人雖然得到了天子寵幸，但張柬之、敬暉、桓彥範、崔玄暉、袁恕已等五人把持著將相的大權，他們膽略過人，廢掉太後尚且易如反掌，大人在權勢上還能比得過太後嗎?因此大人不除掉這五人，簡直危如早晨的露水。可是大人還自以為安如泰山，我深為大人擔憂啊。”武三思正與韋後相謀，除掉此五人，但因五人官位高，權力大，受到中宗的信任，在社會上又有重大的影響，正感到不知從何處下手。今聽鄭情之言，必知有計，心中大喜，便請鄭情登樓，到密室，而後問道：“剛才你既然說到要除掉張柬之等五人，但是五人位高權重，我不知從何處著手?”鄭情說：“在下有一妙計，可建議朝廷，以他們五人擁戴複位之功，冊封為王，奪其實權。一旦他們手中失去權力，就可以任憑擺布了。”武三思深以為然，便引薦鄭情為中書舍人，與崔浞一道，同為他的謀士。
武三思與韋後按照鄭情所獻之計，日夜在中宗麵前巧舌如簧，詆毀張柬之等五人，向中宗說道：“這五個人自以擁戴有功，就居功自傲，大權在握，獨斷專行，將對社稷不利。”由此中宗對五人起了疑心，不再信任。武三思與韋後二人便進一步向中宗建議：“不如封張柬之等五人為王，不讓他們再參與朝政，這樣在外表上是尊重功臣，避免他們的不服氣及人們的議論，實際上又奪去他們的權力，不致再專權用事。”中宗這個人耳朵極軟，對武三思、韋後之言更是言聽計從，於是下詔書：封張柬之為漢陽王，敬暉為平陽王，桓彥範為扶陽王，崔玄睥為博陵王，袁恕已為南陽王。同時免去他們“知政事”
即宰相參政的權力，賜金銀綢緞及鞍馬，隻須於每月初一、十五兩日入宮朝拜一次。
張柬之等五人雖被奪去實權，不得參與朝政，但畢竟還有著王的尊號，有著很高的聲望和很大的政治影響。而且還能一月入宮朝拜兩次，有機會和中宗接近，能對中宗進行勸諫或獻策，所以武三思對他們留在京城仍然感到是一種威脅，於是報請朝廷，將他們調離京城，改任地方官。當時韋後當權，上官婉兒掌管草擬詔令，調令可以隨便下。遂調任張柬之為襄州(現在湖北襄樊)刺史，敬暉為朗州(現在湖南常德)刺史，桓彥範為毫州(現在安徽毫縣)刺史，崔玄暉為均州(現在湖北鄖縣境)刺史，袁恕已為郢州(現在湖北京山)刺史。
接著武三思又指使鄭情誣張柬之等五人與王同皎同謀，欲廢韋後，於是又將五人貶謫。張柬之貶為新州(現在廣州新興)司馬，敬暉為崖州(現在海南島北部)司馬，桓彥範為瀧州(現在廣州羅定縣境)司馬，崔玄暉為白州(現在廣西博白)司馬，袁恕已為竇州(現在廣州信宜)司馬，都是貶在當時最為偏僻、最為荒涼的遠惡之地。
最後，為置五人於死地，武三思暗中指使人書寫韋後的汙穢行為和請予廢黜皇後的傳單，張貼在洛陽的天津橋。武三思有意讓人將情況報告中宗。
中宗聽了這個消息，自然極為憤怒，便命令禦史大夫李承嘉追查其事。李承嘉也是武三思一黨，他秉承武三思的意旨，捏造案情，誣陷張柬之、敬暉，桓彥範、崔玄啤、袁恕已五人對貶謫不滿，暗中指使人散布謠言，並報請中宗：“他們表麵上是請求廢黜皇後，實則是想陰謀篡逆，應該對他們五人全部誅殺。”大理丞(相當於現在的法院法官)李朝隱表示反對，奏稱：“對張柬之等五人不經審問，就急忙誅殺，不合法律手續。”大理丞裴談為討好韋後及武三思，為之出謀，奏稱：“對張柬之他們應該根據皇帝的詔令判處斬刑，誅殺全族，沒收家產，這樣可以不必經過審問，也是合乎法律手續的。”後來中宗考慮到曾向張柬之等頒發有不處死的丹書鐵卷，不同意處死，改為流放。
於是將張柬之流放到瀧州，敬暉流放到瓊州，桓彥範流放到嚷州(現在廣西上思縣境)，崔玄唪流放到古州(現在廣西永福縣境)，袁恕已流放到環州(現在廣西環江)。五家子弟十六歲以上的，皆流放到五嶺以南。裴談因討好獻媚，由大理承提升為刑部尚書，李朝隱因秉公持正則由大理丞貶為聞喜縣令。真可謂是邪僻者升官，正直者遭貶。
崔浞又向武三思提出建議：“張柬之等五人若有朝一日被召回長安，必為後患，不如派遣使者，假傳聖旨，將五人殺掉。”武三思高興地說：“正合我的心意，但不知派哪一個去最為妥當?”崔浞便推薦他的表兄大理正周利貞。