李林甫立即跪下：“啟奏皇上，臣有確鑿的證據，證明他們不是正式的朝官交往，而是圖謀不軌啊。”李林甫一再堅持，唐玄宗說道：“讓禦史台調查，讓慎矜和你一起來彙報吧，他做事很慎密。”他這是給李林甫一個信號，不要總是以為你了不起，有人接替你。
李林甫那有聽不出弦外之音的，但在唐玄宗麵前裝出不在意的樣子，伏地說道：“謝皇上恩典。”爬起來裝做十分恭順的樣子，內心之中，已經將楊慎矜恨上了，思慮著用什麼辦法來整他了。
王鉷到了李林甫的房間，李林甫說道：“皇上要慎矜來調查李適之與皇甫惟明、韋堅以及韓朝忠、裴寬等人暗中交往的事。但他事情太多，忙不過來。你來調查吧。”
王鉷說道：“相爺對李適之不放心，是怕有朝一日皇上的心血來潮，讓他卷土重來。是不是想搬掉他，永除後患。”
李林甫說道：“一次不要太絕，將他趕出京城就行了。他還沒有叛國造反的罪證，怎樣下結論？你把握分寸就行了。”
王鉷按照李林甫的意思，將李適之韋堅皇甫惟明一案聯在一起，同時將其與韓朝忠、裴寬暗中聯絡的材料做到位。對楊慎矜說道：“李相爺叫辦的案子，要你和他一起向皇上彙報。我已經整理好了，你熟悉一下好彙報。”
楊慎矜說道：“你整理的案子，你彙報好了，何必多此一舉呢？”“不行啊，相爺非要你去不可，你是禦史台的負責人，我不夠格。”王鉷將奏折和材料都遞給楊慎矜。
楊慎矜接過材料，看後說道：“這叫什麼案子啊？隻有人證，沒有物證，而且也沒有重大的罪過，這結論也有些牽強，怎麼向皇上彙報啊？”“這是相爺看過的，他認為這樣可以，你有不同意見，和相爺交換吧。”王鉷說道。
楊慎矜來到相府，李林甫滿臉笑容，很客氣的說道：“來了，我們現在就進宮。”楊慎林說道：“這案子有幾處我搞不懂，想請教丞相。”
李林甫說道：“這是你們禦史台查出來的，你不懂那是你的責任不到位，那幾條罪是有些牽強。這樣吧，裴寬和韓朝忠兩人的政績不行，不適宜再擔任戶部尚書和京兆尹的職務，而李適之與他們來往密切，不宜在京城呆著，讓他到宜春郡任太守。你還有什麼想法？”
楊慎矜不願得罪李林甫，也不願找理由來反對。而這三人的來往的確很密切，說他們有黨朋之嫌並不過分。當即說道：“丞相這樣說，我就明白多了。”
李林甫很高興，拍了一下楊慎矜的肩膀說道：“好好幹，我這個位置早晚都是你的。”楊慎矜立即說道：“慎矜不敢，慎矜隻想在丞相手下當好差。”李林甫微笑不語。他的內心很複雜，楊慎矜是他提拔走來的，對他也很恭敬。但唐玄宗要用他來取代自己，這是萬萬不行的。隻要威脅到他的相位，他就會毫不猶豫的除掉他。內心想陷害對方，臉上卻掛著微笑。
李林甫和楊慎矜一起向唐玄宗上奏，將李適之貶到宜春郡任太守。唐玄宗問楊慎矜：“讓適之去宜春郡有何必然？”
楊慎矜說道：“啟奏皇上，適之眼下是一閑官，擔任宜春郡太守，掌管一郡的政事，是為朝廷出力。名是貶官，實則是重用。”唐玄宗對他點點頭說道：“準奏，讓翰林院擬旨。”李林甫看在眼裏，心中的那個恨啊，難以用言語表達。
李適之到了宜春郡，他知道是李林甫做的手腳。將他貶到宜春來做太守，心情十分不好，因此到任後以酒消愁，經常喝得不省人事，難免荒廢了政務。
鹹寧郡③太守趙奉章向唐玄宗狀告林甫大罪二十餘條，奏折落到了李林甫的手上，他膽戰心驚。嚴密封鎖消息，派他的心腹，侍禦史羅希到鹹寧郡查訪。羅希到鹹寧郡審查趙奉章，判他結私鑽營，妖言惑眾。在堂前重杖六十軍棍，當即打死。
回到京城羅希向李林甫交差，李林甫十分滿意，又命令他去江南西道巡查。羅希按李林甫的授意，以不稱職和瀆職的罪名，沿途處死了幾個不巴結李林甫的官員。按行程馬上就要到宜春郡了，李適之知道羅希是李林甫的打手之一，這次到江南西道巡查就是針對他來的，他就是不荒廢政務，也難逃一死。
羅希已經到了城門，李適之十分坦然，他已經萬念俱灰，想他的爺爺是唐太宗的長子，在太子的位置上坐了多年，因不善於權謀被廢。現在他在宰相的位置上幹了五年，也因不善於權謀而被貶。按家族算，他和唐玄宗是沒有出五戶的兄弟。想不到，現在已經被逼到走投無路的境地了。
此時，他已經沒有了害怕，穿好官服，端端正正的坐在太守的衙門裏。長史段秀實說道：“欽差大臣馬上就到，太守大人快去迎接吧。”李適之說道：“你代我迎接。”段秀實出了府衙，李適之深深的歎息一聲，拿出了早已準備好的毒酒，一口喝下。端坐在太守的位置上，等待欽差大臣。羅希進入衙門的時候，見李適之坐著不動，臉色已黑，口鼻有少量血液流出，已經猜到是怎麼回事了。真的被李林甫算準了，他更加佩服這位專權達十年之久的首席宰相了。