聽了哈密嗤的話，金兀術心中好過許多，他氣不過的原因就怕眾將私下裏嘀咕，說自己不是嶽飛的敵手，使自己的威信受到詆毀，聽哈密嗤在眾將麵前說出嶽飛詐敗的話來，也算是給自己臉上貼金，有這樣的台階，還不趕緊借坡下驢，等待何時？故而，他長哼一聲：“哼……氣死本王，若是再讓我碰上嶽飛，本王定要將他碎屍萬段，挫骨揚灰！”
休養四五日後，金兀術命沙古質為前鋒，在“神威霹靂子”的配合下，強行攻打石門關，嶽飛在缺兵無糧的情況下，頂住了金兵一輪又一輪的進攻，可是，八百精壯男兒畢竟是血肉之軀，沒有後援，沒有糧餉，如何能支撐下去，眼看守關士卒死傷慘重，嶽飛隻得命令兵士撤出石門關。此時，要想撤退也非常艱難，如果退回衛州，無疑給金兀術帶路，一旦衛州失守，南京門戶洞開，應天府就會失去屏障，今日就算八百人全部戰死，也決不能退回衛州。
嶽飛斟酌再三，還是往山裏撤，利用熟悉的地形，險要的隘口，在太行山區與金兵周旋，保存實力，等待時機。就這樣，嶽飛帶著僅有的八百傷殘部眾轉戰在太行山脈，保護山區的百姓，休整自己的部眾。
石門關一破，金兀術的十萬大軍很快兵臨衛州城下，張翼、白安民聽說嶽飛兵敗石門關，奉勸王彥撤出衛城，王彥權衡再三，還是聽從眾將所言，將七千多人撤進深山，拱手將衛州城交給金兀術。沿途百姓都罵王彥是貪生怕死之輩，王彥為了表達自己誓死抗擊金兵的決心，從自己開始，讓所有人在臉上刻上“赤心報國，誓殺金賊”八個字，後人稱之為八字軍。
衛州城一破，金兵勢如破竹，一路南下，向南宋京城應天府*近。趙構趕忙詔見丞相黃潛善，命他與汪伯顏阻止金兵，自己領著親近的太監，連夜逃離南京奔亳州而去。黃潛善得知趙構已經離開南京，嚇得魂不守舍，命汪伯顏阻擋金兵，自己以護駕為名，也領著大軍匆匆趕往亳州。
黃潛善的部隊簡直就是金兀術的踏白軍，趙構逃到哪裏？根本不用金兀術去探聽，隻要咬住黃潛善的部隊就成，所以，對於趙構這樣的“逃跑皇帝”來說，他現在對誰都不放心，特別是自己登基這段時間，聽到最多是“抗擊金人，迎請二聖”，言下之意，自己隻是一個“代理皇帝”，現在的文臣武將，都是徽欽二帝時的老臣，就算打敗金人，皇兄趙桓回來，天下還是沒自己什麼事，我幹脆不如逃、躲，躲到南方去，那裏又是一番新天地，讓過去的老臣自生自滅，待自己立穩腳跟，再做圖謀。
所以，趙構一口氣又從亳州跑到揚州，這才停下逃跑的腳步，他覺得，揚州離南京夠遠，金兀術一時半會打不到這裏來，而且這裏是“文章錦繡地，溫柔富貴鄉”，在這裏可以好好享受一番。果然，金兀術的追兵放慢了許多，一是有宋軍的節節抵抗；二是江南富庶之地，金兀術忙著搜掠財富，讓急於逃跑的高宗趙構有了喘息的機會。
嶽飛領著牛皋湯懷董先等八百餘眾，在太行山轉戰了近兩個月，由於金兵已經南下，也沒什麼戰事，他派人探聽到王彥的下落，得知王彥敗退後，也轉戰於太行山，現在駐紮在共城西山上，嶽飛要領弟兄回歸王彥。這時，董先對嶽飛言道：“嶽大哥，你曆來與王彥有隙，又是大哥力主據守石門關，現在石門關丟失，王彥豈能容你！”牛皋等人也都擔心地言道。
嶽飛言道：“眾賢弟，無妨！想那王彥也是一條漢子，隻是此人誌大才疏，過於謹小慎微了，相信他這點氣量還是有的，否則，他也不會刻上‘赤心報國，誓殺金賊’來明誌。此番石門關失守，為兄要向他負荊請罪，了卻個人嫌隙。”“大哥，你可要慎重啊！”張顯不無擔心道。“為兄心意已決，不可更改，為江山社稷計，為天下蒼生計，大宋兵馬必須合兵一處，共同抗敵。”嶽飛堅定地說道。