玄宗為上臨淄王時，趙麗妃、皇甫德儀和劉才人都受到寵愛，趙妃生子李瑛，後立為太子，皇甫德儀生了鄂王李瑤，劉才人生了光王李琚。玄宗登基為帝後，又喜歡上武惠妃，趙麗妃等人都被冷落。武惠妃生的兒子是壽王李瑁，玄宗對他寵愛有加，是其他皇子所不能比的。太子曾和李瑤、李琚聚在一起，因自己的母親受到冷落而心中不滿，怨言滿腹。都尉楊洄是武惠妃女兒承宣公主的丈夫，他時常暗中打探其他三位皇子的過錯，然後告訴武惠妃。武惠妃向玄宗哭訴道：“太子陰謀網羅黨羽，想要加害我們母子，而且斥責皇上。”玄宗聽後大怒，把此事告訴了宰相，想要廢掉太子和鄂王、光王。張九齡說：“陛下登上皇位將近三十年了，太子與諸王都沒有離開過深宮，天天都受到皇上的教導，天下百姓都慶幸陛下把國家治理井井有條，久居皇位皇子皇孫繁盛。現在三個皇子都已長大成人，沒聽說有什麼大的過失，陛下為何要聽信那些沒有根據的言論，因為一時的好惡，將他們全部廢掉呢？春秋時，聽信馬麗姬讒言的晉獻公錯殺太子申生，導致晉國三世大亂。漢武帝因為相信江充的誣告治了太子的罪，使京城發生了流血案件。晉惠帝由於相信賈後的誣陷廢掉了湣懷太子，使邊疆民族進攻中原，百姓遭受戰火之災。隋文帝聽信了獨孤皇後的話廢太子楊勇而立隋煬帝，以致失掉了天下。由此來看，廢立太子一定要慎而又慎。皇上如果一意孤行，臣恕難從命。”玄宗聽後心中不快。李林甫開始沒有說什麼，退朝後暗地裏卻對玄宗寵愛的宦官說：“這是皇上的家事，何必要與外人商量！”玄宗仍拿不定主意。這時武惠妃又悄悄讓官奴牛貴兒告訴張九齡：“隻要你能在廢立太子一事上助我一臂之力，就可穩居相位。”張九齡怒斥了牛貴兒，並把這些話告訴了玄宗，玄宗因此有所醒悟，所以一直到張九齡罷相太子的地位沒有動搖。但由於李林甫不斷地在玄宗麵前誣陷張九齡，張九齡漸漸被玄宗疏遠了。
李林甫官居宰相手握重權後，就開始顛倒黑白，結交朋黨，欺蒙聖上，使唐王朝的政治更趨於黑暗。
後來，朔方節度使牛仙客以前在河西鎮時，能夠節約用費，勤於職守，因此河西鎮倉庫中的軍用物資儲備充實，武器裝備精良。玄宗聽說此事後，想要嘉獎他，任命他為尚書。張九齡說：“不能這樣做。尚書就是古代的納言，唐朝建立以後，隻有曾做過宰相和朝野內外德高望重的人才能擔任。牛仙客以前僅是河湟地區節度使判官，現在一下子就被提升為尚書，臣恐有辱於朝廷。”玄宗說：“那麼隻封給他有實封戶數食邑行嗎？”張九齡回答說：“這也不行。封爵本是為了獎賞有戰功的人。牛仙客作為邊將，充實倉庫，修理軍器，本是他分內之事，談不上有什麼功勞。陛下若要獎賞他勤於政事的功勞，賜他金帛就可以。而分土封爵恐怕不妥。”玄宗沉默不言。李林甫對玄宗說：“牛仙客本來就是宰相之才，當個尚書又算得了什麼！張九齡是一介書生，不懂得大道理。”玄宗聽後非常高興，次日，又說要封食邑牛仙客，張九齡仍然堅持說不可行。玄宗大怒，臉色大變說：“朝廷大事都要由你來做主嗎？”張九齡叩頭謝罪說：“陛下您認為我可用，讓我居宰相之位，對於朝中大事的錯對之處，我隻能直言相告。”玄宗說：“你嫌牛仙客出身貧寒，那麼你的出身有何高貴呢？”張九齡說：“我不過是嶺南地區一介貧民，不像牛仙客出生中原。但是我在台閣之中，掌管誥書詔命已有很多年。牛仙客隻是一邊疆小吏，又不識字，重用他難以讓眾人信服。”李林甫退朝後說：“隻要有才能，何必一定要會寫詩歌文章！”十一月二十三日，牛仙客受封隴西縣公爵位，封食邑實三百戶。
開元二十四年（736年），張九齡屢屢直諫被罷相，楊洄再次誣譖太子等人與太子妃兄薛鋪陰謀勾結，很有可能會謀反。玄宗召集宰相討論。李林甫說：“這是皇族內部事務，不是外臣應該議論的。”於是，宦官奉命到宮中宣旨，廢太子李瑛，並和李瑤、李琚一起貶為庶人。不久，李瑛、李瑤、李琚在城東驛被賜死，薛鋪在藍田被賜死，太子舅家，李瑤舅家受牽連被流貶的有數十人。