王仲升等人嫉妒來瑱，乘機進言：“來瑱太得人心了，這樣的人不能久留。”不久王仲升被敵兵包圍，來瑱沒有及時發兵相救。王仲升兵敗被擒。
行軍司馬裴訿告禦狀說：“來瑱有勇有謀，恐怕以後不好挾製。不如設計擒獲。”肅宗深以為然。於是改封來瑱為其他地區共十五州節度以示寵信。實際上是怕他久居一地，擁兵自重。
來瑱覺察到皇帝用心，開始害怕，便放出話說：“淮西(指十五州)地區無糧，須等這裏麥收方可上路。”
代宗即位，密詔裴茙除掉來瑱。二人兵馬相見，來瑱發問：“你來此地何事？”
裴茙答：“你不聽從命令，特來討伐。”
激戰中，來瑱依仗熟悉地形，出奇兵製勝，生擒裴茙。
來瑱自知有些過分，入朝請罪。代宗無奈，封來瑱為兵部尚書，同中書門下平章事，充山陵使。
宦官程元振忌恨來瑱，開始設計陷害。正巧王仲升從敵營逃回，程元振稟告代宗說來瑱通敵，所以王仲升才戰敗。代宗盛怒之下削去來瑱的官職，後賜死，抄沒家產。門客都害怕逃跑，屍體無人收，校書郎殷亮撫屍痛哭，自備棺木厚葬了來瑱。
程元振以擁戴代宗有功自居，把持朝政。郭子儀被免副元帥、來瑱被害死、宰相裴冕被降職、還有長安陷落，都是程元振造成的。當時邊關告急，吐蕃入侵，邊將上書朝廷，程元振以為是邊將想立功，把這些奏折全部扣押不報。等到告急文書雪片飛來，程元振才知道是真的。程元振不敢告訴代宗，因為害怕代宗怪罪。等到吐蕃兵臨城下，代宗才知曉，隻好倉促逃往陝州（今河南陝縣），並召李光弼等各地節度使勤王。
可是很奇怪，代宗竟然沒有追究程元振的責任。
40多天過去了，沒有一個節度使來勤王。因為功臣來瑱被殺，天下節度使都寒了心。當時的朝廷被程元振掌控。
終於有一個不怕死的太常博士柳伉向代宗進言：“陛下，你詔告天下節度使來勤王。現在已經40天過去了，為什麼沒有一個人來？陛下的威信何在？”
代宗問：“這是為什麼啊？朕想不明白。”
柳伉說：“因為現在奸臣當道，忠臣或殺或貶，誰還願意為這樣的朝廷效命？”
代宗問：“那該怎麼辦呢？”
柳伉說：“陛下要速速行動。隻要殺了程元振，才能振朝綱。如果那時還沒有人來勤王，臣全家上下願以死謝罪。”
代宗幾經猶豫，沒有殺程元振，隻把他貶回老家。後來代宗回長安，這個程元振竟然化妝成一婦人，潛入長安，被大臣舉報，程元振被貶到南方，途中莫名死去。
來瑱戰功赫赫，宦官程元振卻誣陷他謀反，結果被殺。
這次是不是又是程元振的詭計？
結果李光弼這次沒去，程元振、魚朝恩在代宗皇帝麵前說李光弼不忠君，不愛國，皇帝疏遠了他。