西遼派塔陽古為統帥帶領大軍出征，1198年春渡過阿姆河，進入呼羅珊地區，同時花剌子模沙特克什也率軍到達圖斯。西遼軍隊進入古爾王朝境內後，占領了許多地方，到處搶掠、殺戮。西遼軍隊還向古爾王朝的巴裏黑城長官發出最後通牒：或是放棄巴裏黑城，或是送繳像從前一樣的貢賦。巴裏黑城的新長官拒絕了西遼的要求，並聯合呼羅珊的一些城堡襲擊西遼軍隊。結果西遼軍隊潰敗，被追逐至阿姆河，許多士兵被趕進河中淹死，共損失一萬二千人。
西遼軍隊慘敗的消息傳到八剌沙袞，耶律直魯古大為震驚，派出使臣向花剌子模沙索取損失賠償，遭到了特克什的拒絕。菊兒汗於是派兵討伐花剌子模，竟又失敗而還；花剌子模軍追至布哈拉，並攻下該城。
1203年古爾王朝與花剌子模又發生戰爭。此時特克什已死，他的繼承人摩訶末沙向西遼派出使臣求救。菊兒汗又派敗將塔陽古率領一萬軍隊救援，這時西部哈喇汗王朝蘇丹奧斯曼也率軍參加。古爾王朝蘇丹聽到消息後倉皇撤兵，在安都淮沙漠被西遼軍隊包圍，雙方展開激戰。古爾軍隊有5萬人死於戰場，古爾蘇丹逃脫，進入城堡。西遼軍隊又把城堡團團圍困。經奧斯曼說和，古爾蘇丹交出贖金，西遼軍隊才放過了他。西遼軍隊雖然獲得勝利，但是付出了很大的代價，並沒有給自己帶來實際的好處，相反卻為花剌子模沙在呼羅珊的發展掃清了道路。
隨著花剌子模國力的增強，摩訶末沙不甘心於自己的附庸地位，便停止了給西遼的年貢。耶律直魯古派宰相馬赫穆德巴依督責貢賦。當時摩訶末沙正準備對欽察發動戰爭，既怕西遼大興問罪之師，又不願以藩屬的身份接待使臣，便請母親圖兒罕可敦來處置。圖兒罕可敦以尊崇的禮節接待了西遼的使臣，繳納了所欠的年貢，並派出幾名貴族隨馬赫穆德巴依朝見菊兒汗，表示遲納年貢的歉意，保證今後恪守藩屬的義務。但是，摩訶末沙征欽察勝利返回後，不僅再次停止了對西遼王朝的貢賦，而且開始征服整個河中地區。
1206年布哈拉爆發了桑賈爾領導的人民起義，摩訶末沙認為這是征服河中地區的大好時機，便率軍進入河中地區，攻占布哈拉，鎮壓了人民起義。摩訶末沙同西部哈喇汗王朝的奧斯曼結成同盟，與西遼對抗，但被西遼打敗。摩訶末沙退回花剌子模。奧斯曼轉向西遼，並向菊兒汗的女兒求婚，但遭到拒絕，於是又轉向花剌子模。
1210年，摩訶末沙再次出兵，進入河中地，受到奧斯曼的熱烈歡迎；但他們再不是平權的盟友，而是宗主與附庸的關係。摩訶末沙為動員廣大穆斯林支持自己，煽起他們的宗教狂熱，宣布對西遼進行“聖戰”。他在怛邏斯附近打敗西遼軍隊，並俘虜了其主帥塔陽古。從此摩訶末沙威名大震。
在對付帝國西部的花剌子模國和西部哈喇汗王朝的叛離失敗的同時，西遼在各個屬國的官員也日趨腐化。東部的高昌回鶻王國於1209年殺死西遼王朝的監督官，投靠蒙古國，1211年葛邏祿部首領阿兒斯蘭汗也投奔成吉思汗，歸順蒙古汗國。這樣，西遼王朝隻剩下東部哈喇汗王朝這一個附庸國。後來東部哈喇汗王朝也起兵造反，菊兒汗出兵鎮壓，並把哈喇汗王朝的穆罕默德俘虜，囚禁於八剌沙袞，才穩定住局勢。但是這時西遼王朝的直轄領地，情況也是非常不妙。西遼王朝氣數將盡，離滅亡已經不遠了。
引狼入室：摧毀帝國的乃蠻王子屈出律
就在西遼帝國慢慢呈現出衰敗狀態的時候，一個乃蠻部的王子，加速了西遼滅亡的步伐，這個王子叫屈出律。
蒙古興起後，乃蠻部被成吉思汗打垮，其王子屈出律及大量部民逃脫。他們奔往別失八裏，從那裏又越過天山到達庫車。屈出律帶領部下在庫車山裏東遊西蕩，既無糧食又乏給養，跟隨他的那些人已作鳥獸散。
公元1208年的冬天，屈出律投奔了西遼王朝的菊兒汗。屈出律到八剌沙袞後，耶律直魯古熱情地招待了他，並將自己的一個女兒許配給他做妻子。曾有一段時間，屈出律留在八剌沙袞為菊兒汗供職。
當花剌子模的摩訶末沙起兵反對西遼時，東方的屬國、屬部也起來造反，西遼處境困難。雖然有了安定的生活，但是屈出律常常有寄人籬下的感覺。西遼屬國的叛變，讓他覺得自己的機會來了。於是他向直魯古提出請求，同意自己去糾集乃蠻舊部，以強大西遼。耶律直魯古接受了他的建議，賞賜他許多財寶並封他為可汗，讓他去自由地擴充軍事勢力，直魯古沒有想到的是，自己當初不但引狼入室，現在又在進一步地養虎為患。