天寶十載，李林甫兼領安西大都護、朔方節度使，不久又兼單於副大都護。天寶十一載，因為朔方節度副使李獻忠叛變，李林甫辭讓節度使，舉薦安思順代替自己。唐朝自武德、貞觀以來，蕃人將領如阿史那社爾、契苾何力，忠孝而有才略，但也不專委以大將之任，大多以朝廷重臣遙領節度使以製馭他們。開元年間，張嘉貞、王唆、張說、蕭嵩、杜暹都以節度使入朝知政事，李林甫為了穩固自己的位置，打主意要堵塞出將入相的源頭，曾上奏說：“文士為將帥，害怕身當矢石，不如用寒族和蕃人，蕃人善戰勇敢，寒族則沒有親黨做後援。”玄宗很以為然，便用安思順代替李林甫領節度使。從此高仙芝、哥舒翰都專任大將，李林甫取利於他們不識文字，沒有入朝為相的理由，然而安祿山終於為禍亂，就是因為他專有大將之任的緣故。
李林甫自恃騰達，輿馬衣服，都極其華麗。他自己不學無術，卻對有才名於時的尤其忌妒。而郭慎微、苑鹹這些文士中的下等人物，則用來代他題寫書信。李林甫典掌吏部時，參加考選的嚴迥，在判語中用了“杕杜”二字，李林甫不認識“杕”字，對吏部侍郎韋陟說：“這裏說‘杖杜’，是什麼意思？”韋陟低頭不敢回答。太常少卿薑度，是李林甫舅父的兒子，薑度的妻子生個兒子，李林甫親手寫信慶賀，說“聞有弄獐之慶”，賓客看了，掩口而笑。
開初，楊國忠進入朝廷，李林甫認為他才能平庸而未加忌妒；及至楊國忠位至禦史中丞，權傾朝列，李林甫才嫉恨他。當時楊國忠兼領劍南節度使，正值南詔國進犯邊境，李林甫就請楊國忠赴任鎮所。玄宗雖然同意了他的奏章，但對楊國忠正恩寵方渥，親自寫詩送行，句末透露出以後讓他入朝為相的意思，還說：“你隻須到蜀郡處置軍事就行了，朕數著指頭等你回來。”李林甫心中更加不快了。李林甫當時已經病重。十月，他扶病隨從玄宗臨幸華清宮，數日之後病情加劇。巫師說，如果能見一下聖人，病就會好轉，玄宗想去探視他，左右勸諫不要去。於是敕命李林甫出來到庭院中，玄宗登上降聖閣從遠處觀望，舉起紅巾招手慰問，李林甫不能起身，讓別人代拜於席。次日，楊國忠自蜀郡還朝，謁見李林甫，拜於床下，李林甫垂著眼淚，以身後事相托。很快他就死了，贈太尉、揚州大都督，賜給班劍、西園秘器（帝王用的葬具）。他的兒子們用吉禮的儀仗護送靈柩回到京城，發喪於平康坊的府第。
李林甫晚年沉溺於聲妓，自己覺得結怨於人，常擔心突然出現刺客，重門複壁，聯板砌石，一夜要搬幾次，就是家中人也不知他睡在何處。有子25人，女25人：李岫為將作監，李崿為司儲郎中，李嶼為太常少卿；女婿張博濟為鴻臚少卿，鄭平為戶部員外郎，杜位為右補闕，楊齊宣為諫議大夫，元扌為為京兆府戶曹。
李林甫曾夢見一個白皙多須、個子高大的男子逼近自己，貼到身上推不開。醒了之後，他言道：“那樣子像裴寬，這是裴寬圖謀取代我的緣故。”當時裴寬為戶部尚書，兼禦史大夫，所以李林甫借口將其驅逐出朝。當時楊國忠才剛當金吾胄曹參軍，從此不到十年，李林甫死，楊國忠竟取代其位，他的形狀也很像裴寬。楊國忠一向懷恨李林甫，既已得誌，便誣奏李林甫與蕃將阿布思共同策劃逆謀，並利誘李林甫親戚中一向與他不合的人做證。於是詔命奪削李林甫官爵，廢為庶人，李岫、李崿等諸子都謫斥於嶺南。李林甫性格沉鷙縝密，城府很深，從來不以愛憎現於顏色。自己身處相位，舉動遵循規定，衣冠士人，如不是正常調任，他從不開仕進之門，所以他掌朝政20年，朝野之人，側目而視，懼憚他的威嚴和權勢。及至楊國忠誣陷構罪，天下皆以為冤枉。