而此時由於皇上晚年的昏聵內用佞臣李林甫、楊國忠，外用叛將安祿山、史思明，755年造成安史之亂，國家勢力一潰千裏，使得伊斯蘭勢力進占西域，從而使中華文化近500年無法占領西域，才使得伊斯蘭一統中亞、西域，造成今天的新疆各族都被伊斯蘭化。
753年前後，正是唐朝經營西域的全盛時期，但是此後隨著國內政局的的劇烈變化，唐朝在西域的勢力也大大衰退，由高峰跌入了低穀。755年（天寶十四載），唐朝國內爆發了有名的安史之亂，由唐朝蠻族將領安祿山、史思明率領的東北邊疆叛軍長驅南下，攻陷東、西兩京，唐玄宗愴惶逃出長安，南下四川盆地。玄宗的兒子肅宗在靈武繼位之後，調集西北邊軍勤王平叛，守衛西域的安西、北庭節度使屬下的邊兵也被大批調往內地。
756年（至德元載）有三支西域唐軍被調回內地，其中李嗣業、段秀實率精兵五千，"安西行軍司馬李棲筠率兵七千，馬磷精兵三千，三支軍隊共一萬五千人返回鳳翔，參加了收複長安的戰爭，以後在此基礎上組成了戰鬥力很強的鎮西北庭行營。
除了西域邊兵之外，唐朝還征發了西域各國本地的軍隊幫助平叛。《資治通鑒》卷218記載，756年肅宗在征發拔汗那兵馬的同時，又使拔汗那"轉諭城郭諸國，許以厚賞，使從安西兵入援。"明確見於記載的有於闐王尉遲勝率領的本國兵馬五千（《舊唐書·尉遲勝傳》）。另外與拔汗那一起發兵的還有大食等國。最晚到757年（至德二年）正月以前，他們就已經行進到了河西地區（《資治通鑒·卷219》）。到了758年（乾元元年）秋天，吐火羅葉護烏那多與西域九國首領來朝，請求"助國討賊"，肅宗派他們赴朔方行營效力[《冊府元龜》卷973《肋國討伐》，參見《新唐書·吐火羅傳》]。西域邊兵大批內調，對平定安史之亂起了重要的作用，但是卻大大削弱了唐朝在西域的勢力。
這時西域的外部威脅主要是大食和吐蕃，西域防禦能力的衰退，給他們提供了入侵的時機。但是大食勢力並沒有趁機東進，而是派兵助唐叛亂，這說明大食從一開始就無意（或無力）進入蔥嶺以東的地區。對吐蕃而言，這時唐朝不僅僅是撤回了安西、北庭的邊兵，而且也調回了隴右、河西防備吐蕃的軍隊，入侵隴右、河西要比進攻西城便捷得多，也有利得多，於是吐蕃大舉進攻河西。在這種形勢之下，西域反而得以保全，孤軍堅守了將近半個世紀之久。
到763年（廣德元年）時，吐蕃軍隊已經盡陷蘭、廓、河、都、洮、岷、秦、成、渭等州，占領了河西、隴右的大部分地區（《資治通鑒·卷223》）。此後西域守軍與內地的聯係斷絕，但仍然奉唐正朔，堅守西域（吐魯番出土的《高耀墓誌》（發掘簡報見《新疆社會科學》1985年，第4期）有廣德四年（相當766年）年號。實際上廣德隻有兩年（763-764年），765年代宗改元永泰（765-766年）。墓誌仍然沿用廣德年號，說明在765年以前就己失去聯係，不知長安改元永泰。）。而且四鎮在這時還保持著一定的兵力，765年（永泰元年）左右，河西唐軍抵擋不住吐蕃的進攻，遣使前往四鎮，"索救援河西兵馬一萬人"（敦煌文書P.2942《河西節度使判集》），這至少說明西域的形勢這時要比河西穩定得多。
大概到了768年（大曆三年）左右，西域守軍又與朝廷恢複了聯係，（斯坦因在於闐發現的漢文文書中，有大曆三年（768）年號。見M．A．Stein，AncientDothan，AppendixA：ChineseDocumentsFromtheDagda-Quill，HiyaandEnder，No.1）朝野上下對他們"忘身報國"的精神感動得"酸鼻流涕"、庸代宗下詔褒獎，並向西域唐軍通報內地情況，讚揚他們"不動中國，不勞濟師，橫製數千裏，有輔車首尾之應。以威以懷，張我右掖，淩振於絕域，烈切於昔賢。微三臣（指河西節度使周鼎、安西、北庭都護曹令忠、爾朱某）之力，則度隍逾隴，不複漢有矣（《唐大詔令集》卷116常袞《喻安西北庭諸將製》。據岑仲勉研究（《西突厥史料補闕及考證》第104頁），此製文下於大曆四年（769）至大曆七年（772）之間）。"其實就曆代原王朝而言，經營西域不外乎內外兩方麵的原因。就內部來說，控製了西域既可張揚國威，又保證了絲綢之路貿易的繁榮；就對外來說，控製了西域就可以牽製和削弱北方遊牧民族的勢力，並進而保障河西，隴右的安全，防止南、北兩個方向遊牧民族勢力的彙合。吐蕃攻陷關隴之後，已深入唐朝心腹地區，西域地區也就失去了它原有的戰略意義，西域的存亡對整個唐朝邊防來說已經沒有多少實際的意義，所以西域雖有"奉國之誠"，朝廷卻因"事勢不及相恤"，（《全唐文》卷464《慰問四鎮北庭將吏敕書》）不得不采取了任其自生自滅的態度。
783年（建中四年）唐朝將領朱泚又發動兵變，占領了長安。唐德宗出奔奉天，遣使向吐蕃請求援兵，吐蕃借機提出以徑、靈等四州以及安西、北庭作為交換條件。德宗應允了吐蕃的條件，與吐蕃簽署了誓約，並且準備派遣沈房、韓朝彩等人前往西域辦理交割事宜。擬將西域將士、官吏、僧道、耆壽、百姓等撤回內地，然後將西域交割給吐蕃。令四鎮、北庭將士"遞相慰勉，葉力同心，互相提摘，速圖近路，複歸鄉井，重見鄉親。"同時"如有資產已成，不願歸此，亦任便住，各進所安"（《全唐文》卷464《慰問四鎮北庭將士敕書》）。但是實際上由於吐蕃軍隊在戰爭中觀望不進，陰持兩端，而且又趁機劫掠武功，所以唐德宗聽從了李泌的意見，以吐蕃沒有履約為由，拒絕將四鎮北庭交給吐蕃。