李林甫一直都在暗中窺伺時機，終於在開元二十四年（736年）牛仙客問題上找到了促使玄宗下決心驅逐張九齡的機會。
牛仙客是朔方將領，目不識丁，但在理財方麵倒有些旁門左道。玄宗一再想提拔他，都遭到張九齡的反對。李林甫乘機挑撥說：“象牛仙客這樣的人，才是宰相的人選，張九齡是個書呆子，不識大體。”玄宗見李林甫支持，很高興，立即又找張九齡商議提拔牛仙客之事，張九齡還是不同意。玄宗這下可惹怒了，變色道：“難道什麼事情都要由你作主嗎！你認為牛仙客低賤，你又有多高貴呢！”
下朝後，李林甫又在玄宗麵前離間說：“隻要有才識，何必考慮什麼詞學，天子用人，有什麼不可以的。”經李林甫這麼一說，玄宗心裏更不是滋味，再也不顧張九齡的反對，賜牛仙客爵陝西縣公，食封300戶，又升之為工部尚書、同中書門下平章事。同時罷去張九齡、裴耀卿的相位，任命李林甫為中書令，執掌政府大權。
李林甫傾倒張九齡，當上首席宰相後，心裏十分高興，但皇太子問題並未解決，他企圖進一步利用皇太子問題去實現他的權力野心，他想廢掉太子瑛，另立壽王瑁為太子，使太子和相權結合，從而駕空君王，獨斷朝綱。因此他暗中指使親信構陷太子瑛，而武惠妃也未善罷甘休，繼續派人監視太子。開元二十四年四月，駙馬都尉楊洄再次狀告太子瑛、鄂王瑤、光天琚與太子妃兄、駙馬都尉薛鋪秘密勾結，圖謀不軌，玄宗又忙召集李林甫、牛仙客商議廢太子之事，李林甫還是那句老話：“廢太子是陛下的家務事，不是臣等所應參預的。”玄宗見宰相不反對，遂下令廢除瑛、瑤、琚為庶人，流放薛鋪於湘州，不久又賜死瑛等4人。
李林甫廢除太子的目的達到後，滿以為壽王瑁可以成為太子了。然而事態並未象李林甫所預計的那樣發展。武惠妃由於在太子問題上做了虧心事，—夜晚常夢見太子瑛等3人為祟，最後恐怖成疾而卒。惠妃突然死去，李林甫深感不安。他知道壽王因惠妃而得寵，惠妃一死，壽王失去了成為太子的一個最重要的靠山。但他並未放棄擁立壽王為太子的宿願，他見玄宗在立誰為太子問題上猶豫不定，便決心先發製人，於是上疏玄宗，提議說：“壽王年已成長，可立為太子。”而此時的玄宗似乎對李林甫擁立壽王為太子的用心有所察覺，因而在立誰為太子問題上顯得異常冷靜和慎重。他權衡了壽王和其他諸子，認為壽王畢竟是以母親而得寵，他個人並無特殊才能，尤其是李林甫極力扶持壽王，目的已很顯然。玄宗既然把首席宰相的大權交給了李林甫，就不希望這位權相再去擁立一個太子了。因為太子和權相結合，將會構成對皇權的威脅，因此不能立壽王為太子。想來想去，他最後選擇了忠王為太子。這不僅因為忠王多年來一直處於不受重視的地位，在宮中和外朝都沒有形成個人勢力，易於控製，而且忠王在玄宗諸子中也最年長，立忠王為太子，不會讓以李林甫為代表的擁立壽王的外朝勢力找到反對的借口。所以當李林甫問及立太子之事時，玄宗斷然回答說：“忠王仁孝，年又居長，當立為太子。”李林甫隻得打消立壽王的念頭。
然而李林甫卻牢牢地控製住了朝中大權，為了爭寵固權，他一方麵處處迎合玄宗旨意，凡有奏請，他都事先賄賂玄宗左右親信，了解玄宗的意圖，從而投帝所好，故深得聖心，玄宗把政事全部委托給李林甫處理，寵之不疑。另一方麵他又想方設法把玄宗和百官隔絕開來，不讓玄宗了解下情。他曾把諫官們召集起來，公開威脅說：“現在皇上聖明，做臣下的隻要按皇上的意旨辦事就行了，用不到大家七嘴八舌。你們沒有看到皇宮前的立仗馬嗎？它們吃的飼料相當於三品官的待遇，但是哪一匹馬要是叫了一聲，就要被拉出去不用，後悔也來不及了。”對上疏言事的人，李林甫一概打擊，諫官補闕杜鈸不聽李林甫的話，偏上疏給玄宗提建議，結果第二天就接到命令，降職到外地做縣令。
對玄宗賞識並有可能入相的人，李林甫也一概排斥和打擊。他打擊異己手法十分巧妙，他要排擠一個人，表麵上不動聲色，笑臉相待，做出一副十分關心人的樣子，在背後卻暗箭傷人。中書侍郎嚴挺之，為官清廉，又有才能，李林甫十分妒嫉他，把他排擠在外地當刺史。有一天，唐玄宗突然想起了他，對李林甫說：“嚴挺之還在嗎？這個人很有才能，還可重用呢！”李林甫說：“陛下既然想他，我去打聽一下。”退朝後，李林甫立即把嚴挺之的弟弟找來，對他說：“你哥哥不是很想回京城見皇上嗎？我倒有一個辦法，隻要叫你哥哥上一道奏章，就說他得了重病，請求回京城來看病。”嚴挺之的弟弟見李林甫這樣關心他哥哥，非常感激，馬上給嚴挺之去了一封信。嚴挺之接到他弟弟的信，果真上了一道奏章，請求回京城看病。李林甫拿著奏章去見玄宗，假惺惺地說：“哎，真太可惜，嚴挺之現在得了重病，不能幹大事了。”玄宗隻好惋惜地歎了口氣。