李林甫擅長音律。初為官千牛直長，他舅父楚國公薑皎非常喜歡他。玄宗開元初年，遷為太子中允。當時源乾曜為侍中，源乾曜的侄孫源光乘，是薑皎的妹夫，源乾曜與他很是親近，源乾曜的兒子源潔對父親說：“李林甫要當司門郎中。”源乾曜說：“郎中必須是平素品行和才望都高的人，哥奴哪裏能當郎官呢？”過了數日，除官為諭德。累遷至國子司業。
開元十四年（公元726年），宇文融為禦史中丞，引薦李林甫與自己同列，於是拜官為禦史中丞，曆刑、吏二部侍郎。當時武惠妃正寵壓後宮，她的兩個兒子壽王、盛王因母親得寵也尤其被寵異，而太子李瑛則愈被疏遠淡薄，李林甫與中貴人交好，便通過宦官幹謁武惠妃，道：“我願保護壽王。”武惠妃很感激他。此前，侍中裴光庭的妻子是武三思的女兒，詭譎而有才略，與李林甫有私情。宦官高力士本出自武三思家，及至裴光庭去世，武氏含悲求請於高力士，請求讓李林甫替代其夫的位置，高力士不敢答應。玄宗讓中書令蕭嵩選擇宰相，蕭嵩過了好久才以右丞韓休應對，玄宗同意，便命他起草詔命。高力士很快把這消息透露給武氏，武氏便讓李林甫去告訴韓休。韓休既入朝為相，很感激李林甫，卻與蕭嵩不和，便推薦李林甫為宰相，武惠妃暗中相助，於是便拜官黃門侍郎，玄宗對他的恩遇更深了。
開元二十三年（公元735年），以黃門侍郎平章事裴耀卿為侍中，中書侍郎平章事張九齡為中書令，李林甫為禮部尚書、同中書門下三品，都加銀青光祿大夫。李林甫表麵柔順而內有狡計，能觀察皇上的意圖，所以驟然曆官清顯之列，為當時所委任。而對宦官與後妃之家，他都深相結納，窺伺皇上動靜，都能預先知道，所以出言進奏，動輒符合皇上意旨。而他性格猜忌，暗中陷害人，不露於言詞麵色。朝官受到皇上恩顧，隻要不出入他的門下，就要設法構成其罪；而與他交好的，即使是廝養之徒、卑賤之士，都可以位至榮寵。不久曆官戶部、兵部二尚書，執掌政事如故。
李林甫
不久，太子李瑛、鄂王李瑤、光王李琚因母親失寵而有怨言，駙馬都尉楊洄把此事稟告給武惠妃，玄宗因此大怒，與宰相們商議，準備治罪。張九齡道：“陛下三個成年的兒子不可再得。太子是國家根本，生長於宮中，受陛下教誨，人們沒見他有什麼過失，陛下為什麼在喜怒之間就忍心要廢掉他呢？臣不敢奉行詔旨。”唐玄宗很不高興。李林甫不知所答而退下，既而他對中貴人說：“王子自己家中的事，何必與外人商量。”當時朔方節度使牛仙客在鎮所，有政治才幹，玄宗要加以實封。張九齡又上奏道：“邊職任，陛下賞賜他就可以了。現在要賜以封邑的租賦，恐怕不甚得當。希望聖上考慮。”玄宗默然。李林甫把這些話告訴了牛仙客，牛仙客次日麵見玄宗，哭泣著辭讓官爵。玄宗要執行實封的命令，還讓牛仙客兼任尚書。張九齡堅持上奏如舊。玄宗變色，道：“事情總要聽你的嗎？”張九齡叩頭道：“陛下讓臣擔任宰相，事情有所不妥，臣就理應盡言。違忤聖意，該當萬死。”玄宗道：“你認為牛仙客沒有門第嗎？你又有何門閥？”張九齡答道：“臣是荒野微賤之人，仙客是中華之士。但陛下擢拔臣登上台閣，執掌詔誥；而牛仙客不過河湟的一名典史，目不識文字，如若委以重任，臣擔心不太妥當。”李林甫退朝後說道：“隻有才幹見識，何必有文辭之學，天子用人，有什麼不可的？”玄宗便對張九齡愈加不滿意了。
張九齡與中書侍郎嚴挺之交好。嚴挺之把初次娶的妻子休了，她便嫁給了蔚州刺史王元琰。當時王元琰犯了貪贓罪，詔令三司使鞫審，嚴挺之救免其罪。玄宗了解到此事，對張九齡說：“王元琰不是沒有贓罪，嚴挺之囑托主管官吏給了麵子。”張九齡道：“她是嚴挺之的前妻，如今他已娶了崔氏，不應再有情分。”玄宗道：“你不知道，雖然已經離婚，還是有私情的。”玄宗又追究前事，認為張九齡有黨羽，便把他與裴耀卿都罷知政事，拜為左、右丞相，而出嚴挺之為沼州刺史，王元琰流放嶺南。就在當天，李林甫代替張九齡為中書令、集賢殿大學士、修國史；拜牛仙客為工部尚書、同中書門下平章事，知門下省事。監察禦史周子諒上言說牛仙客不是宰相之材，玄宗發怒而殺死了他。李林甫說周子諒本是張九齡所薦舉的，於是貶張九齡為荊州長史。