隨著瓜沙諸州的收複和歸義軍政權的建立，吐蕃殘餘勢力隻好龜縮於涼州。涼州是河西重鎮，對涼州的取舍也成為歸義軍政權能否穩固的前提。為鞏固已建立的歸義軍政權以及有效地掌控河隴地區，大中十二年（858年）八月，張議潮決定東征涼州。涼州是吐蕃垂死掙紮的最後一張王牌，而且城中駐紮了大量的軍隊，勢力依然強大。張議潮率大軍，一路東進，初到涼州便遭到了頑強的抵抗。涼州城久攻不下，隨後戰爭即成膠著狀態，歸義軍耗時幾年，終於在鹹通二年（861年）大敗吐蕃，收複涼州。
收複涼州後，張議潮派人向唐朝告捷。至鹹通二年（861年），陷蕃近百年的河隴之地，終於重新回歸大唐。鹹通四年（863年），唐朝令張議潮統領涼、洮、西、鄯、河、臨六州。從此，河西走廊再次暢通無阻，西北往來於中原地區的商旅源源不斷。有詩為證：
河西淪落百餘年，路阻蕭關雁信稀。
賴得將軍開歸路，一振雄名天下知。
河西地區收複後，唐朝無力經營，隻能以羈縻方式讓張議潮進行管理。歸義軍政權在張議潮的領導下，采取一係列措施重新建立統治秩序，積極發展生產，並團結境內各個部族共同發展進步。由於境內民族眾多，他因地製宜，對於漢人則恢複了唐製，而對於遺留在此地的吐蕃人仍以部落的形式加以統治，以適應多民族之間的差異，這樣就有效地團結了可以團結的人；人口和土地是一個政權生存的根基，他派人調查境內戶籍人口，丈量土地，將無主土地進行再分配，同時製定相應的賦稅製度，以保證政權的財政收入；由於歸義軍政權是以漢族大姓為主建立的聯合政權，因此奉唐朝為正統，並積極恢複摒棄多年的漢文化，以致於唐使者到達敦煌，看到開元寺中懸掛的唐玄宗的畫像時候，不禁感歎：“獨有沙州一郡，人物風化，一同內地。”
雖然吐蕃勢力已經被驅逐，但是河西的形勢依然很嚴峻，南有伺機而動的吐蕃，北有虎視眈眈的回鶻。另外，散居於甘、肅、瓜、沙、河、隴、渭、岷、廓、疊、宕之地的嗢末、黨項等部族，經常和吐蕃一起抄掠河西地區。唐朝隻有道義上的支持，沒有實質的援助，麵對這些來無影去無蹤的對手，歸義軍隻能時刻警惕，依靠自身同敵人進行艱苦而光榮的鬥爭。為保衛河西勝利果實，鞏固歸義軍政權，張議潮率領河西民眾同敵人進行了激烈的戰鬥。
吐蕃念念不忘重新占領河西之地，恢複昔日的榮耀。經過一段時間的休整，吐蕃集結散布於河西的殘餘勢力以及其他部族，準備進攻沙州。張議潮對於吐蕃退出河西的不甘心了如指掌，派偵察兵時刻關注這些部族的動向。一天深夜，突然有報：吐穀渾王準備集結諸川蕃賊抄掠沙州，目前正在積極調集部隊。張議潮得知消息，迅速調兵遣將，鑿門而出，一路急行軍。與吐蕃軍隊相遇後，歸義軍各方默契配合，兵將神勇，視死如歸，吐蕃軍隊倉皇應戰，大敗而逃。歸義軍乘勝追擊，俘獲敵人三百餘，牲畜兩千餘頭，歸義軍將士在《大陣樂》的歌聲中凱旋而還。
大中十年（856年）六月六日，張議潮親自率領精兵討伐納職縣的吐蕃與回鶻人。當吐蕃和回鶻人發現歸義軍時候，大軍離納職縣已不足十裏。他們太低估歸義軍的實力了，壓根就沒有想到歸義軍會這麼快。由於吐蕃和回鶻人對歸義軍的到來毫無準備，被歸義軍打了個措手不及，因此歸義軍大勝，並俘獲了牲畜萬餘頭。
經過幾次大的戰役，歸義軍政權基本上掃清了周圍的威脅。河西在歸義軍政權的領導下，人民安居樂業，首領張議潮為西北邊地的開發與發展作出了巨大貢獻。
鹹通八年（867年），留在長安作為人質的張議譚去世。張議潮得到兄長去世的消息，神情黯然。為了表達對唐朝的忠心，年近古稀的張議潮將歸義軍的大權交給張議譚的兒子張淮深，離開了經營多年的沙州前往長安。張議潮入朝，徹底消除了唐朝先前的懷疑態度，唐懿宗授張議潮為右神武統軍，晉升為司徒、列金吾，並賜予沃田豪宅，讓其在京城頤養天年。872年，張議潮因病去世，官賜太保，他轟轟烈烈的一生就此畫上了句號。