受寵的武惠妃陷害太子，玄宗大怒，想廢掉太子，張九齡堅持不可，李林甫當麵不發表意見，背後卻在玄宗親信的宦官麵前散布輿論說，皇上“家事，何須謀及於人？”，影射張九齡幹預皇上“家事”。
玄宗欲加封牛仙客。張九齡不讚成，約李林甫一起到玄宗麵前去“固爭”，李林甫當即表示同意，可到了玄宗麵前，他卻一言不發，私下裏反而告訴了牛仙客。牛仙客在其鼓動下，麵見玄宗，哭著辭職，玄宗又欲升牛仙客為相。張九齡認為牛仙客目不識書，不能當大任。李林甫私下對玄宗說：“但有才識，何必辭學。天子用人，有何不可？”接著又說張九齡是文人，不善用才。從此玄宗認為張九齡太專權，對他逐漸疏遠，並認為裴耀卿和張九齡是同黨，就將二人的相位都罷免了。牛仙客升為宰相，李林甫取代張九齡為中書令。
天寶元年（公元742年）三月的一天，玄宗駕臨勤政樓。兵部侍郎盧絢正騎馬經過樓下，氣宇軒昂，雄姿英發。玄宗看到後心生歡喜，稱讚道：真乃偉丈夫也！李的耳目喉舌馬上將此事彙報給李林甫。他擔心盧絢被皇上重用，便設計阻撓。於是他把盧絢的兒子召來，告訴他父親威望很高，皇帝準備派他父親到外地任職，要想不離開京城，可上書奏請說自己年老，皇上就不會將他派往外地了。盧絢聽從李林甫的指點，上書奏稱自己年老，不堪重任，結果李林甫以此為據，罷了他的兵部侍郎之職，讓其出任華州刺史。盧絢到任不久，李林甫又誣其有疾，州事不理，被授予太子員外詹事，就這樣盧絢一直被冷落壓製著。
原中書侍郎嚴挺之很有才華，早年被李林甫排出京師。天寶元年，唐玄宗忽然想起他，就問李林甫他現在哪裏，欲以重用。李林甫馬上把嚴挺之的弟弟召到府中，談話敘舊，虛偽地告訴他要授予他員外郎的職務。又關心地問起他哥哥的情況，鼓動他替哥哥寫一奏折，以身體不好為名，請求入京就醫。這樣，進京以後，見了皇上就可受到重用。嚴挺之的弟弟不知是計，非常感激，立即照辦。
後來，李林甫就拿著他寫的奏折對玄宗說：“挺之年高，近患風，且須授閑官就醫。”玄宗聽後，歎息良久，隻好令嚴挺之到“東京養疾”去了。
刑部尚書李適之是唐太宗的曾孫，此人非常勤奮，天寶元年，牛仙客死，代為左相，被李林甫視為競爭對手。
在李適之上任之初，他便對李適之說：“華山下麵有金礦，采之可以富國，我想皇上還不知道。”李適之輕率地相信了李林甫的話，就把這事告訴了唐玄宗。玄宗很高興，立即問李林甫是否真有此事，李林甫卻說：“這件事臣已經知道很久了，但我想到華山是皇家的龍脈所在，王氣所在，不可開采，所以臣不敢上奏皇上。”李林甫這馬屁拍得玄宗很舒服，玄宗感到李林甫對自己是一片忠心，因此宣布，“自今奏事，宜先與林甫議之”。此後玄宗逐漸疏遠李適之，後來李適之終於被罷相。
李林甫用這種方法整倒了一批內閣大員，而對於那些無能的、善於逢迎拍馬的邪險之徒則加以引薦，作為自己的左右臂膀。又用小人充塞各種機構，就這樣他穩穩地當了19年宰相。
李林甫當了19年宰相，靠的是什麼？自然是奸詐的手法，他善於誣陷，精於整人，特別是有可能成為自己對手的人。為了保住自己的地位，他先扳倒有才能的人，一朝中有三個宰相，他先後整倒了兩個，然後又換上他的心腹之人。另一方麵，新人總是不斷湧現的，他的地位時刻受到新人的威脅，因此，他總是會想辦法把新人扼殺在搖籃裏。