秦檜想利用嶽飛陷害韓世忠的陰謀沒有得逞，便開始分解他的軍隊。張俊主張把韓世忠的部隊完全分解，遭到嶽飛的反對。嶽飛對張俊說：“現在能守衛疆土的大帥已經不多，萬一金兵再次南犯，聖上還會讓韓世忠重新統率這支軍隊。到那時，我們有何麵目見韓將軍？”張俊自然對嶽飛十分不滿。接著，張俊和嶽飛開始點驗韓家軍兵馬，經過核實才知道，韓家軍實際隻有三萬人。
嶽飛沒能阻止秦檜的陰謀，心情十分苦悶，回到臨安後便申請辭職。宋高宗本意是想批準他辭職，但考慮到剛剛同韓世忠發生了衝突，如果又讓嶽飛辭職，難免引起朝野內外不安，便拒絕了嶽飛的要求，但允許他從此之後不再過問朝廷的軍事。想讓嶽飛不關心國家大事，那是辦不到的。
八月初，南宋向金朝求和的活動又開始了，嶽飛壓抑不住內心的憤怒，上書高宗，堅決反對議和。
嶽飛仍然是宋高宗和秦檜屈辱求和活動的絆腳石。秦檜決定加快迫害嶽飛的步伐。他指使親信諫議大夫萬俟（si）卨（xie）、禦史中丞何鑄、殿中侍禦史羅汝楫以言官和監察官的身份彈劾嶽飛。
萬俟卨等人對秦檜百依百順，決定向皇上上奏本，列舉嶽飛的罪行，請求皇上對嶽飛進行嚴厲的製裁。但嶽飛一生忠君愛國，根本沒有什麼把柄可抓。然而，欲加之罪，何患無辭，經過他們幾天幾夜的密謀，給嶽飛捏造了三條罪名：一、嶽飛自從到樞密院任職以來，一直對朝廷不滿，打算離開朝廷過安逸生活；二、在援救淮西軍事行動中，拒不接受命令前往；三、到淮東安排戰守工作時，主張放棄楚州。
三項當中，前兩項純屬無中生有，第三項是曲解嶽飛的意見。在淮東視察時，張俊主張重修楚州城，而嶽飛不讚成。他認為，不談整軍北伐，卻將注意力放在守城上，會給當地官兵留下一個不思進取的形象。
宋高宗看了給嶽飛編造的罪名後，不問青紅皂白，就將嶽飛撤了職。被解職後的嶽飛帶著嶽雲一起回到了江州。
嶽飛被罷官之後，宋金雙方再次進行和談。紹興十一年八月，金兀術將扣押在金營中的南宋使者放回，讓他們向宋高宗和秦檜傳達一封書信：在南宋朝廷內部仍有人阻止和議，如果這種情況繼續下去，我們還將發兵南下，希望南宋朝廷思考該怎樣做才最好。
這封書信實際上是威逼宋高宗加緊鎮壓抗戰派官員。宋高宗見到這封書信後十分驚恐，立即派光州觀察使劉光遠、成州團練使曹勳帶著自己的親筆信到兀術大營中哀求。兀術見信後，態度十分蠻橫，指責趙構沒有誠意，而且使臣職位太低，對金國不夠尊重。高宗接到信後，又派吏部侍郎魏良臣等再次出使兀術大營，讓魏良臣等口頭說明讓步的內容：以淮河為界劃分兩國疆土，淮河以北屬金朝；宋國每年向金朝納貢白銀二十五萬兩，絹帛二十五萬匹。如果有什麼不妥的地方，一切聽從兀術決定。
兀術對以淮河為界是滿意的，但他仍然趾高氣揚地反對以淮水為界，其實不過是故作姿態而已。經魏良臣苦苦哀求，兀術終於答應了趙構的要求，派昭武大將軍蕭毅等出使南宋，帶去兀術信函一件，內容就是不殺嶽飛，和談無望。
趙構見信後十分滿意，以君臣之禮寫了回信，表示嚴格按照議和的內容辦事。雖然雙方以書信的形式確定了議和條件，但正式的和談協議書尚未簽訂，為了早日迎接簽約之日的到來，宋高宗趙構和權臣秦檜開始了迫害嶽飛的行動。