桓彥範上奏沒多久，胡僧慧範，自稱會法術，討得韋後歡心。韋後於是在中宗麵前稱他曾幫他登上皇位，平亂預謀。中宗也沒多調查這個人，立即按照韋後的意願，授銀青光祿大夫。
張柬之、桓彥範等人，見中宗所施諸政，越來越令人憂心；認為隻有先將武氏族人從朝中清除掉，再清餘孽，方可保唐室朝野的安穩。於是聯合群臣，一起上表，曰：
臣等聞五運迭興，事不兩大，天授革命之際，宗室誅竄殆盡，豈能與諸武並封。今天命維新。而諸武封建如舊，並居京師，開辟以來，未有斯理。望陛下為社稷考慮，順遐邇心，將其王爵，以安內外，則不勝幸甚！
張柬之考慮到一本彈章，是動搖不了中宗的。於是設法，派考功員外郎崔湜作他的耳目，觀察諸武的動靜。崔湜入朝為官，頗有口才。可他是一個見風使舵的人；在武三思麵前，阿諛奉承、卑躬屈膝，求得武三思的信任，滿足自己的私欲。對君子張柬之等人，卻詞辨生風。所以崔湜將張柬之等人的想法，告訴了武三思，完全做了武家的走狗。
恰巧這時，宣州司士參軍鄭愔，貪汙行賄，被人告發，逃入京城，私下謁見武三思。原本鄭愔在朝中做過殿中侍禦史，因曾是張氏兄弟黨羽，被連累貶謫到外。先前在朝中時，與武三思是親密朋友，所以相見後，不免私下要親切交談。寒暄之餘，鄭愔突然大哭起來，哭過後，又仰天無休止大笑。弄得武三思驚疑不定，問："鄭大人何故這般情緒不定？"
鄭愔停止大笑，一本正經地說："我初見大王不得不哭，因為我擔心大王會被唐室將相陷害。後而大笑，是因為大王在危機時刻遇見了我鄭愔，可轉危為安，轉禍為福！"
武三思驚訝地問："鄭大人，此話如何解釋？"
鄭愔說："大王現在雖然受皇帝寵愛，但是張柬之、桓彥範等五人，出將入相。這五人日夜謀劃，想將大王宗族滅完，大王若不找準時機，除掉這五人，將危如壘卵；想到這，我就為大王心寒啊！"武三思聽他這麼一說，全身的神經都繃緊了，仿佛眼下有人正把白花花的大刀架在自己的脖子上。於是說："鄭大人，此事非同小可，我們登樓到隱蔽處，私下好好談談！"
鄭愔說："好，大王先請！"
武三思引領鄭愔來到自家的樓頂，坐定，武三思問鄭愔："鄭大人有何計策，讓我轉危為安，轉禍為福？"
鄭愔神秘地笑了笑，說："大王若想辦法將張柬之等人封為王，待他們失去大權後，慢慢地擺布他們，不怕整不垮他們！"
武三思小心謹慎地說："計是好計，隻是怎樣才能不費力氣地把他們趕出朝廷？"
鄭愔說："這個好辦，你隻要在皇上麵前去說，張柬之等人，表麵是忠心耿耿的臣子，實際上圖謀不軌，想奪取唐室的政權。"
武三思點點頭，說："妙計！妙計！"
接著兩人臉上都露出了陰險的笑容......
武三思先是用提醒的口吻對中宗說，張柬之等人，不是等閑之輩，時刻都覬覦著他的皇位，私下跟韋後商議著如何把張柬之等人趕出朝廷，因為這也是韋後早想過的事情。於是韋後在中宗麵前日夕進讒，說張柬之等人，恃功專寵，將不利社稷。中宗聽信韋後的話，於是找武三思商量。
武三思按照鄭愔給他獻的計策，對中宗說："張柬之等人，在朝中很得人心，不可輕易把他們斬首什麼的。皇上下詔，讓他們離開京城，在外為王就可以了。然後慢慢地削弱他們的勢力，不怕他們不束手待斃！"
中宗想了想，說："為了社稷，隻得按你的說法那麼做了！"
接著，中宗親自下詔，封張柬之為漢陽王，桓彥範為扶陽王，崔玄瑋為博陵王，敬暉為平陽王，袁恕己為南陽王，從此不得入朝。改用唐休璟、豆盧欽為左右仆射（即宰相副手）；韋安石為中書令，魏元忠為侍中．
羽林將軍楊元琰見武三思專政，將張柬之等五人罷政．自知大禍將臨頭，於是向中宗辭官，準備削發為僧，中宗不允！
楊元琰滿臉都是胡須，不同常人，敬暉知道楊元琰辭官後，對楊元琰開玩笑說："我早知道你要辭官為僧的話，我一定讓皇上答應；削發時，把你滿臉的胡須也連同削掉，肯定是一件很滑稽的事情！"
楊元琰說："你別跟我開玩笑了，我削發為僧，是真心實意的想法！要知道功成者必退，不退則危，我再不退得話，不僅毛發和胡須保不住了，我的腦袋都將不保！。"
敬暉非常理解楊元琰的話，說："張柬之等人，哎，還是別說了，說了叫人傷心啊！你說朝中的小人怎麼就這麼可惡啊！"
楊元琰歎憤說："敬大人，你也小心才是啊！張柬之等人被罷政，為我們敲響了的警鍾啊！"
敬暉說："張柬之等人這樣的能臣都被小人陷害了，我留在朝中真是無計可施啊！"
楊元琰沒再說話，隻是沉默；但從他們表情看得出，憤憤不平，讓他們神色難看。
楊元琰再次向中宗辭官，中宗還是不允，但被調任為尉卿。
張柬之擔心更大的災難那會降臨在自己頭上，於是上奏中宗，辭官，歸家養病。因他是襄州人氏，中宗讓他做襄州刺史。當他到襄州時，洪水泛濫，給百姓帶來無比大的災難。於是張柬之帶領人，築堤，阻止大水外流，就這樣製止了洪水，避免了給百姓帶來更大的損失。方圓幾十裏的人都對他稱頌不已。泛濫的洪水激發了張柬之的感想，於是上奏中宗："臣妾就像大水一樣，臣恐後庭幹預朝政，會導致像洪水一樣的災難。陛下應該時刻觀察天氣變化，避免不必要的禍亂。皇上要以社稷為重，外戚太盛，應早點製止！否則後果不堪設想！"