嶽飛突然接到宋高宗的撤兵命令，弄得莫名其妙。他派人送奏章給高宗說金兵已經喪盡士氣，我軍士氣高漲，勝利就在眼前，時機不能錯過。他請求高宗取消撤兵命令，允許他繼續進軍。秦檜接到嶽飛奏章，又想了一個惡毒的手段，先命令張俊、劉光世等大將的人馬從淮北前線撤兵，然後對高宗說，嶽飛的軍隊在中原已經成為孤軍，不能再留，叫宋高宗發出緊急金牌，叫嶽飛撤軍。
十二道金牌
嶽飛在前線等待高宗的進軍詔令，沒想到接到的卻是朝廷催促退兵的緊急金牌。嶽飛接到第一道金牌，正在猶豫，送金牌的快馬又到了。從早到晚，快馬一個接一個，一連接到12道金牌。嶽飛知道要改變高宗的決定已經沒有希望，氣憤得淚流滿麵，說：“想不到我十年來的努力，一下子全給毀了。”
嶽飛要從朱仙鎮退兵的消息一傳出去，附近的百姓十分震驚，紛紛聚集在街頭。他們攔住嶽飛的馬，哭泣著說：“我們頂著香盆，運著糧草，迎接官軍，這是金人都知道的事。現在相公要回去，我們隻有死路一條了。”
嶽飛看到這個情景，也禁不住流下眼淚，他叫左右兵士拿出高宗的詔書來給大家看，說：“朝廷下了緊急金牌，我不能擅自做主留在這裏啊！”百姓們見留不住嶽飛，都放聲痛哭。兵士們也個個心酸，掩著臉哭。整個朱仙鎮響起一片哭聲。嶽飛心裏不忍，宣布暫緩5天撤兵，讓願意跟隨他們的百姓一起走。過了5天，嶽家軍開始撤兵的時候，當地百姓成群結隊隨軍南遷。後來，嶽飛奏請朝廷，把這些百姓安置在南方安家墾荒。
兀術打聽到嶽家軍已走，馬上重整旗鼓，向南進攻。本來被嶽飛收複的河南許多州縣，一下子又丟失得精光。
秦檜和宋高宗決心向金朝求和，他們恐怕受嶽飛、韓世忠等人的阻撓，把他們召回京城，讓韓世忠做樞密使，嶽飛做樞密副使，名義上是提升，實際上是解除了他們的兵權。
紹興議和
秦檜奪了嶽飛的兵權，就派人向金朝求和。公元1141年11月，金朝派使者到臨安。談判議和條件。談判結果：宋、金之間，東麵以淮河為界，西麵以大散關（今陝西寶雞西南）為界，南宋向金朝稱臣，每年向金朝進貢銀絹各25萬。曆史上把這次屈辱投降的和約叫做“紹興議和”（紹興是高宗的年號）。