他對楊國忠說道：“愛卿請起，朕知道你的忠誠，你暫時到劍南去一下，將那不懂規矩的南詔王教訓一下，解決好邊疆紛爭問題之後，就回到京城來。我在京城掐著指頭算你的歸期，等你回來之後，我立刻讓你擔任首席宰相，進駐鳳池。你不要辜負了朕的希望，安心的下去吧。”
有了唐玄宗的承諾，楊國忠放心了，他去劍南走一趟，回來就能取代李林甫的位置，對他來說那是最大的喜訊。伏在地上說道：“臣聽從皇上調遣，這就去劍南，教訓那不懂規矩的南詔王。”欣然領旨，準備去蜀地。
楊國忠到劍南赴任了，李林甫很高興，他立即招吉溫進府，要他整理楊國忠的材料，搜集他的罪證。正在他緊鑼密鼓的行動的時候，杏兒帶來了喜兒的話，對李林甫說道：“貴妃娘娘這些天高興得很，喜兒說楊國忠去劍南，再回京城的時候，就當首席宰相了。”
李林甫不相信，他派人到內宮之中進一步打探。打探的人傳來信息:“唐玄宗已經答應楊國忠，他從劍南回來就擔任首席宰相。”
李林甫最怕的事情發生了，他一下子癱坐在椅子上，不知道如何是好。吉溫說道：“我們現在搜集楊國忠的罪證已經失去作用了，皇上不會相信。他這一招真狠毒，出賣相爺，應該采用更狠毒的辦法來對付他。”
張博濟說道：“現在用朝廷的法律規章已經對楊國忠無效了，有皇上為他撐腰，隻能采用非常手段。小婿有一計，可以致楊國忠於死地。”“什麼妙計？快說。”李林甫現在隻想楊國忠死，急不可待的問道。
張博濟咬牙切齒的說道：“暗殺﹗我們聘用的護院武師孫鳳是昆侖派的高手，武藝高強，對嶽父大人也很忠誠，派他到劍南去冒充南詔的殺手，尋機刺殺楊國忠，定能成功。楊國忠死在南詔人的手裏，責任由劍南的官員負責，沒有楊國忠誰來接替您的丞相職務？嶽父可以穩坐宰相的位置。”
李林甫思考一會說道：“你太幼稚了，現在不是楊國忠的問題，是皇上不信任我了，他許諾楊國忠，已經動了要換相的念頭了。沒有了楊國忠，還有張氏兄弟，這些人都能取代我的位置，你能將朝中的大臣都殺光嗎？我上奏折讓楊國忠去劍南，隻是一個試探，如果他批準我的奏折，證明還信任我，我的相位還能保留。他給了我一個麵子，批準了我的奏折，讓我高興一下。但是當楊國忠要求不去劍南的時候，他許諾楊國忠，很快會讓他回來，而且回來後就讓他當宰相。看起來，皇上對我和楊國忠都照顧到了，非常清楚，皇上是向著楊國忠的，而且要拋棄我李林甫了。因為皇上給我的隻是一個虛麵子，但是給楊國忠許諾的可是實實在在的宰相權力啊。他回來我就得讓位，他回不來，我也得讓位，皇上說的話就是聖旨，不能更改的。你敢行刺皇上嗎？即使皇上駕崩了，接位的也是太子，如果太子登基，我就不隻是下台的問題，可能立馬腦袋搬家。除非發動政變，但是我們手裏沒有軍權，調動不了軍隊，沒有這能力。一切努力都是無用的，你們要準備從新做人，收斂往日的飛揚跋扈的氣勢，老老實實的生活。”
李林甫已經七十歲的人，當他知道了唐玄宗的決策之後，確認唐玄宗要拋棄他了，一時間氣結於胸，一下子又病倒了。請醫問藥全不見效，他又讓孫鳳去請孫崇邈。
注1：唐朝官名從三品，國子監的主官，負責全國的教育。