楊慎矜沉毅有材幹，喜歡幫助朋友。初，為汝陽令，有能名。崇禮罷太府，玄宗訪其子堪委其父任者。宰臣以慎餘、慎矜、慎名三人皆勤恪清白有父風，而慎矜為其最，因拜監察禦史，知太府出納。楊慎餘先為司農丞，除太子舍人，監京倉。二十六年服闋，累遷侍禦史，仍知太府出納。楊慎名授大理評事，攝監察禦史，充都含嘉倉出納使，甚承恩顧。楊慎矜於諸州納物者有水漬傷破及色下者，皆令本州征折估錢，轉市輕貨，州縣征調，不絕於歲月矣。在台數年，又專知雜事，風格甚高。
天寶二年，楊慎矜任禦史中丞，充京畿采訪使，知太府出納使並如故。時右相李林甫握權，楊慎矜以遷拜不由其門，懼不敢居其任，就辭讓，因除諫議大夫，兼侍禦史，仍依舊知太府出納。以鴻臚少卿蕭諒為禦史中丞，蕭諒不堪重任，貶為陝郡太守。
林甫破格提拔楊慎矜為禦史中丞，拉攏楊慎矜，目的是製約韋堅。
時韋堅於742年(玄宗李隆基天寶元年)擢升為陝郡太守、水陸轉運使，時渭水(亦稱渭河)曲折淤淺，不便漕運，他主持征調民工，在鹹陽(今陝西省鹹陽市)壅渭為堰以絕灞滻二水，向東作一條與渭水平行的渠道，在華陰縣永豐倉附近複與渭水彙合，又在禁苑之東築望春樓，下鑿廣運潭以通漕運，使每年至江淮載貨之船舶在潭中集中，借以取得皇帝之歡心。後升兼江淮南租庸、轉運、處置等使，韋堅升任刑部尚書後，李林甫感到已威脅到自己的相位，欲除之。
李林甫奏道：“陛下，太子虛位已久，壽王李瑁忠厚仁孝，又有才幹，可擔此大任。”
玄宗的話卻讓李林甫大吃一驚。
玄宗說：“忠王李亨是諸王子之長，朕已決定立忠王為太子。
群臣竊喜：好你個李林甫，也有失算的時候。選錯了主子，看你以後怎麼辦。
李林甫想：陛下明明一向喜歡壽王，怎麼突然改變主意？這可大事不妙，自己一直支持壽王，李亨當了太子，一旦掌權，必然記恨，自己的處境就危險了。當然高力士不會告訴他：玄宗擬冊封楊玉環為貴妃，如果立壽王為太子，將來他登了基，想到自己的女人被搶，必然報複。
李林甫隨即又想：就算你李亨當了太子，我先設法減掉你的羽翼，拔了牙的老虎傷不了人。當然，最好是廢掉。
一次，一地方官員來見李林甫，說發現了金礦。
李林甫眼珠稍微一轉，說：“你可以告訴左相李適之大人，讓他奏明陛下，為你請功。”
李適之奏道：“陛下，華山發現金礦，這是樣品，請陛下過目。”
玄宗把礦石拿在手上把玩，果然是好東西，玄宗很高興。
李適之說：“陛下，請下旨開采，必能增加國庫深入。”
玄宗笑著說：“對對對，林甫，你怎麼不知道這件事？”
李林甫嚴肅的說：“臣知道這件事很久了，但是考慮到華山是陛下的本命、王氣所在，如果破壞了，縱然是金山，也彌補不了過失，所以臣不敢稟告。”
原來玄宗生於乙酉年，屬雞。地支酉位居西方，五行屬金。華山為西嶽，又富金礦，故唐玄宗以華山為自己的本命和王氣的宅舍。
玄宗變了臉色說：“李適之，以後你有什麼事先和李丞相商量一下才奏。”
李林甫冷笑，李適之暗暗叫苦：上了李林甫的當，陛下必定疏遠自己。不久，李適之被罷相，有詩雲：避嫌除罷相，樂聖且銜杯。為問門前客，今朝幾個來？