此後，對楊國忠的話，也就聽不進去了。
玄宗本打算提升安祿山為宰相。楊國忠堅決反對，他的理由是“安祿山雖有軍功，但他目不識丁，怎麼能夠當宰相！如果頒布製書，恐怕四方蠻夷會笑話輕視我們大唐帝國的。”玄宗想想也是，便取消了這個任命。但仍給安祿山加官尚書左仆射，並賞賜其一子三品官，一子四品官。
三月一日，安祿山向玄宗辭別。玄宗脫下身上的禦袍給他作為賞賜。這一舉動讓安祿山受寵若驚，告辭後急速東出憧關，乘船沿黃河而下，日夜兼程趕回範陽。此後，又不斷有人上奏說安祿山要謀反。但玄宗不僅不相信，還把上奏的人抓起來，送給安祿山去處置。這一來，再也沒有人敢上奏了。
是年六月，劍南節度留後李毖率兵7萬人去攻打南詔，結果全軍覆沒。楊國忠隱瞞失敗，假報獲勝。接著又增兵討伐，仍然遭到慘敗，前後損失的將士有20萬人。朝廷上下畏懼楊國忠的權勢，無人敢上奏實情。
有一天，玄宗在宮中對宦官頭子高力士說：“膚已經老了，朝廷政事交給宰相去辦理，邊防軍事托付各位鎮將負責，可以高枕無憂了。”高力士卻並不糊塗，回答道：“臣聽說我軍在雲南連遭失敗。還有邊將擁兵太重，尾大不掉，不知陛下如何處置？臣擔心一旦發生禍事，就難以挽救。如此形勢，豈能說是可以高枕無憂啊！”玄宗聽了這些意外的話，對高力士說：“你不要再說了，讓膚仔細考慮一下。”
自上年以來，天下水早災害不斷，關中地區發生了饑荒。秋季又是陰雨兩個月，京城民房頹壞大半，物價暴漲。而楊國忠卻壓製地方州縣官員，不許上報災情。玄宗心中擔優莊稼受損，問高力士道：“陰雨不斷，你把知道的情況，都告訴聯。”
高力士乘機攻擊外朝宰相說：“自開元二十年（732）以後，陛下把朝廷大權都委托給宰相，賞罰沒有章程，導致陰陽失調，災害不斷。臣還敢說什麼呢屍玄宗聽後沉默許久，無言以對。
十四載（755）二月，安祿山派其副將何千年入朝奏事，請求以32名蕃將代替漢入將領。玄宗下令中書省立即起草救書，由他簽署，並發給告身（委任狀）。左宰相韋見素對楊國忠說：“這件事說明安祿山謀反的跡象，已經很明確了。我們應當盡力向皇上說明才是呀！”
幾天後，楊國忠和韋見素一起進見玄宗說：“我們有個計策，可以消除安祿山的陰謀。現在下令任命他為宰相，召他人朝。然後再任命賈循為範陽節度使，呂知誨為平盧節度使，楊光翔為河東節度使。這樣一來，安祿山的勢力就會分化瓦解。”
玄宗同意了這個計劃，但卻壓下寫好的詔書不發，先派宦官輔琳帶著珍果去賜給安祿山，讓他借機觀察安祿山的動向。結果，輔謬琳收受了安祿山的大量賄賂，回朝後極力聲言安祿山忠誠盡職，毫無二心但楊國忠並不死心，他派人暗中監視安祿山在京城的住宅，並假稱詔命派入搜查，抓了安祿山的門客李超等人，投人禦史台獄中秘密殺害。安祿山之子安慶宗在京城任太仆卿，派人將此事密報其父。安祿山心中越發感到恐懼六月，玄宗以賜婚安慶宗娶皇室女榮義郡主，親手下達詔書，命安祿山入京參加婚禮。但安祿山卻以有病相推辭，不肯奉詔來京城。
七月，安祿山上奏請求進獻3000匹良馬入朝，每匹馬派2個馬夫，再派22名蕃將負責護送到京城。河南尹達奚殉懷疑其中有詐，上奏道：“請告諭安祿山，到冬天再進獻馬匹，由朝廷派出馬夫，不用煩勞他部下的將士”這時，玄宗才有所省悟，開始懷疑安祿山心懷不軌。
恰巧這時輔繆琳受賄之事敗露，玄宗借別的罪名將其處死。然後，按照達奚殉的奏請，派內監馮神威帶著禦筆手詔去告諭安祿山：“聯在華清宮為你新造了一座溫湯池，等你十月前來。”馮神威到範陽宜讀詔書，安祿山也不伏拜，坐在床上動了動身體，說道：“皇上可好？不讓派人獻馬也好。十月份我一定奉命進京”隨即讓左右把馮神威安置在館舍，不再見麵。幾天之後，才放馮神威返京，而且也沒有奏表回複。馮神威回朝對玄宗哭訴說：“奴才燕一點就不能回來見陛下了”。