金撻懶攻下楚州城後不久，帶領二十萬人，沿著大運河轉向泰州。撻懶首先進攻泰州的水寨。張榮一直堅持到十一月，後來隻好放棄水寨，率領水軍向南轉移。泰州地處平原，無山險可恃，惟一的地利是湖泊和河道。水寨的失陷，使泰州城完全暴露在金軍麵前，嶽飛軍已經無險可恃。這時，往湖州催督軍糧的使臣空著手回來報告說，湖州知州趙子磷借口尚未接到朝廷命令，拒絕調撥。在這種困難情況下，嶽飛估計敵我力量過於懸殊，決定放棄泰州城，向南撤退。嶽飛軍由柴墟渡過長江，移屯江陰，隨即把失守的消息報告朝廷，聽候治罪。朝廷下詔答應他領軍在江陰就糧，盡力防禦金軍過江。
艱苦轉戰收失地
後來，金軍改變戰略，集中東、西兩路兵力征服陝西和四川地區。兀術引主力進入川、陝作戰。在中原，則扶植漢奸劉豫建立齊國，作為金、宋中間的緩衝，使宋不能直接威脅金朝，而金朝可以隨時通過齊國攻打宋朝。
金朝統治者還施展了一條更為毒辣的詭計，把已經投降的秦檜放回宋朝去充當奸細。
秦檜年輕時在太學讀過書，登第後，擔任州學教授。北宋滅亡前夕，秦檜任禦史中丞。金軍攻占汴京，準備立張邦昌為帝，秦檜獨自向金帥上書表示反對，要求由皇儲繼承宋朝的皇位，因此頗得聲名。金帥指名索要秦檜，成為俘虜。到北方後，秦檜見宋朝大勢已去，屈膝投降了敵人，很快就成為撻懶的親信，隨軍為撻懶出謀劃策。秦檜曾替被金朝羈留的宋徽宗起草文稿，呈送金帥粘罕，文稿的主要內容是為金朝獻計：與其出兵遠征，勞師動眾，不如派回一名宋廷舊臣，讓他勸諭南宋皇帝自動歸順，世代臣屬，年年納貢，這樣就可以“不煩汗馬之勞，而坐享厚利”。這一計策雖然沒有立即被粘罕采納，秦檜由此卻更受金朝統治者的賞識。金兵圍攻楚州時，秦檜及其妻子王氏都在撻懶軍中，任隨軍轉運使。金軍攻下楚州後，秦檜帶著王氏以及四五名隨從坐船從海上到達浙東。
秦檜突然歸來，引起許多官員的懷疑。隻有宰相範宗尹跟秦檜是老相識，在趙構麵前極力推薦秦檜“忠心”，因而得以見到趙構。秦檜一見趙構，就兜售“議和”妙策。他說：“如果要使天下平安無事，必須是南自南，北自北。”建議與金議和，還請求趙構寫信給撻懶“求好”。第二天，範宗尹進呈由秦檜代趙構草擬的一份通過撻懶向金朝求和的國書，趙構看後說：“秦檜樸忠過人，朕得到了他，高興得一夜都睡不著覺。”任命秦檜為禮部尚書。三個月後，即紹興元年（1131）二月，升為參知政事。七月，範宗尹罷宰相職。秦檜看到朝廷缺相，圖謀奪取宰相高位。他放出空氣，聲稱：“我有兩個計策，可以聳動天下。”有人問他為什麼不講，秦檜回答說：“如今沒有人當宰相，不好實行啊！”這話傳到趙構耳中，加上正好有一些大臣暗中推薦秦檜，就在八月提拔他做右相兼知樞密院事。秦檜在朝網羅主和官員作為自己的黨羽。
次年七月，左相呂頤浩出師回到朝中，與秦檜意見不和。八月，殿中侍禦史黃龜年彈劾秦檜“專門主張和議，阻礙國家恢複中原故土的長遠計劃”，“培植黨羽，獨專大權”等罪。呂頤浩也向趙構極力揭露秦檜。趙構向兵部侍郎說：“秦檜說‘南人歸南，北人歸北’，朕是北人，該歸哪裏？”又說：“秦檜做宰相已經幾個月了，說要聳動天下，可是到現在還沒有聽說什麼。”於是將秦檜罷免相位，並且在朝堂出榜宣告，朝廷“永不複用”。秦檜的黨羽也被驅逐一空。
從紹興元年到紹興三年，嶽飛前後三年馳騁在江西、湖南等地，既平定了叛亂武裝，也鎮壓了農民起義。他從這些武裝力量中收編了一部分精明強幹的士兵，用來補充隊伍，繩以紀律，使自己的部隊逐漸發展成一支擁有近三萬人的勁旅。嶽飛逐漸成為與劉光世、韓世忠、張俊相提並論的大將。紹興三年九月，嶽飛帶著長子嶽雲，到臨安府（浙江杭州）朝見趙構。趙構賞給嶽飛父子衣甲、馬鎧、弓箭、戰袍、戰馬等物，又賜給軍旗一麵，上麵繡著趙構親寫的“精忠嶽飛”四個大字。嶽飛被提升為鎮南軍承宣使、神武後軍都統製、江南西路舒蘄州製置使，在江州（江西九江）、興國軍（湖北陽新）、南康軍（江西星子）一帶駐軍防守。