耶律大石回到鎮州後就得到消息，耶律餘睹率領一萬多女真、契丹、漢聯軍和漢族百姓正在橫穿大漠來攻鎮州。
耶律謝十說道：“晉王，我願意率領一支軍隊將他們困死在大漠裏。”
耶律大石一笑，說道：“謝十兄，金國給我們送人送糧，我們要全盤笑納。”
楊懷興說道：“我們可以效法楚漢相爭，來個四麵楚歌。”
耶律大石說道：“好注意，我們就在大漠邊上等他們。”
這一天，耶律餘睹率軍剛走出大漠紮好營盤，耶律大石就率領一萬多人馬在不遠處也紮下營盤。
晚上，楊懷興帶著一百多人來到耶律餘睹大營旁，一邊擂鼓一邊喊道：“漢族兄弟們，女真人侵我土地，殺我同胞，不要為他們賣命了，趕快投降吧，漢人不打漢人。”
耶律大石也帶著一百多人來到耶律餘睹大營另一側，一邊擂鼓一邊喊道：“契丹兄弟們，女真人滅我國家，奴役我族人，趕快來晉王這裏，我們一起消滅女真人，複興我大遼，契丹人不打契丹人。”
耶律餘睹聽到喊聲後，心想耶律大石在瓦解軍心，看來這一戰很難取勝，他率軍北征大漠也是被逼無奈，女真人聽到喊聲後也不敢出戰，天黑地形不熟怕中埋伏。兩夥人輪班擂鼓輪班喊，鬧了一晚上。
第二天一早，耶律大石首先率軍列陣，他上前跟耶律餘睹打話道：“耶律餘睹，你是契丹皇族竟然幫助女真人滅亡自己的國家，你有臉見列祖列宗嗎？”
耶律餘睹見有女真人在身邊，也不敢多說，答道：“耶律大石，天下已為金有，識時務者為俊傑，你現在投降還來得及。”二人話不投機，各返回隊伍。
耶律大石對楊懷興和耶律謝十說道：“懷興，你率漢軍進攻耶律餘睹的漢軍，謝十兄，你攻契丹軍，我率一軍攻女真軍，大家剛開始一定要狠命打，把他們氣勢打下去，他們就會投降。”
耶律謝十說道：“晉王，我來打女真人。”
耶律大石說道：“謝十兄，多謝你好意，我有經驗我來打女真人。”
耶律大石一揮手，三路人馬同時發起衝鋒，大家一起喊話勸降漢人和契丹人。楊懷興這一路接戰不久就有人開始投降了，這些漢軍背井離鄉，告別妻兒老小，都是被強征而來，經過大漠，身心疲憊，死的死，傷的傷，哪有心思來打仗，一會工夫兒，就全部投降。
楊懷興心想如果奪取他們的營盤，更能瓦解他們的軍心。他立刻率軍衝入耶律餘睹的營盤，守衛營盤的都是漢族百姓，都是來做苦役的，楊懷興好言相勸，眾人紛紛投降，楊懷興讓人把遼軍的旗幟插遍營盤，然後揮軍從背後攻擊女真人。
契丹軍多數人也已投降，三路人馬圍攻女真軍和少數契丹軍，這些女真軍也是很勇猛，死也不投降，這一仗打了一個多時辰，耶律餘睹一看一多半人都投降了，營盤也被劫了，就和幾名女真將領商量撤軍，幾名女真將領一看形勢不利，如果全軍覆沒，回到朝廷也會被怪罪。大家一致同意南撤，耶律大石見金軍向南突圍，便明白了他們的意圖，下令讓開一條路讓他們走。
耶律謝十不解地問道：“晉王，為什麼放他們走？”
耶律大石答道：“我們想消滅這些女真人恐怕我們自己也要傷亡很多人，不如見好就收，他們現在沒了物資，退回大漠也是九死一生。”
耶律大石將金軍趕入沙漠就不再追趕了。這一仗，耶律大石收降了將近一萬人，還繳獲了大量物資，大家都為之振奮。
在接下來時間裏，金軍並沒有發動進攻，耶律大石則訓練軍隊，安置新來百姓。
且說耶律餘睹率殘軍撤回大同，金國皇帝給他官降一級的處分，他心中很是鬱悶。
這一天，耶律餘睹和楊秀走在街上，突然一個契丹人喊道：“大家快來看，這就是耶律餘睹。”
他這麼一喊，一群人圍了過來，大家指指點點，有的契丹人說道：“聽說他還是太祖八世孫呢！”
有的契丹人說道：“就是他帶領女真人滅亡我們大遼國的。”
一些契丹人罵道：“契丹人的敗類，女真人的走狗，趕快死了算了。”
一些漢人也圍了過來，一對老年夫婦聽到他就是耶律餘睹，衝上前抓住耶律餘睹的胳膊，流著淚說道：“大人，我兒子跟隨你一起到大漠去打仗，他怎麼還沒回來，他是不是死了？你告訴我啊！”其他漢人也過來向他詢問親人的消息。