所以，他對這番話不予理睬，是理所當然的。
韓世忠、張俊、嶽飛被解除了兵柄，充當了樞密使和副使之後，雖然也要按時進入樞密院衙門中去，實際的軍政大計卻並不交他們去處理。
對於這次軍職的大變動，他們做出的反應並不相同：在張俊，是怡然自得，不但不改故常，且還比往常更為得意。
而在韓、嶽二人的表現，就不能不在內心極為憤慨的情況下，隻在表麵上故示悠閑：
韓世忠特地製了一條“一字巾”，每逢到衙門中去，就把它裹在頭上，有意地從裝束上作出一點特殊樣式，出了衙門之後，便由幾名親衛兵跟隨著，到處跑跑玩玩。
嶽飛也脫卸了他的軍服，換上一身文職官員衣裝，故作悠閑之狀，每次與人閑談，也屢屢表示羨慕山林閑居之適，對於國事，則表示隻想擺脫，不願再聞也不願再問了。
韓世忠和嶽飛的這樣一些舉止行動，都不過顯露了他們的胸懷中仍然充滿著憤憤不平之氣，這就使得秦檜和他的黨羽們對韓、嶽更加切骨痛恨。
秦檜和他的黨羽們把剛剛過去的一些事件回想一下，他們也更加認為，消除兵權的事應當是一不做、二不休的。
在秦檜、趙構對女真貴族進行賣國投降活動的過程中，三大將中的張俊雖在極力曲意逢迎，而韓世忠和嶽飛卻一直在極力反對。
當金朝派遣張通古南來，和南宋王朝派遣官員出使金國時，韓世忠曾連續五六次上書反對所謂的“和議”，且還明白對秦檜加以指斥。
嶽飛在這一時期的多次表態，其激烈程度更在韓世忠之上。這就使得秦檜對韓世忠和嶽飛都同樣的深惡痛絕。而今韓、嶽的兵權雖已被解除，卻仍不足以解盡秦檜的心頭之恨。
秦檜清楚地記得，上年秋天，兀術曾在給他的信中說過：似朝夕向我求和，而嶽飛卻無時無刻不在圖謀進兵河北，而且殺了我的愛婿，此仇不可不報。
因此，一定要殺嶽飛。殺了嶽飛之後，方能使和議成功。金方提出以殺嶽飛為和議的先決條件，趙構和秦檜當然是不得不考慮的。至於韓世忠呢，他和嶽飛一樣力主抗金，曾多次上書反對和議，並指名道姓斥責過秦檜，也必須除之。
緊接在淮西戰役之後，秦檜、趙構已經又開始了向金朝進行投降的活動，若不把原來的韓家軍和嶽家軍徹底摧毀，這一樁賣國勾當還可能照舊遇到梗阻。對這兩支軍事力量，還需要進一步把它們收拾掉。
大將們解除兵權是一樁極不尋常的重大變局，他們所統領的部隊中的兵將，一時都不易摸得著頭腦，因而不免發生這樣那樣的揣測，以致議論紛紛，呈現出一些動亂情況。
秦檜和他的黨羽們，決定借口於此而首先向資望最老的韓世忠及其原來統帥的部隊開刀。
所要采用的手法，是利用三大將之間原有的嫌隙，使其互相誣陷和殘害。
秦檜借用趙構的名義，指派張俊和嶽飛前在楚州，即韓家軍駐屯的地方，名義上是去安撫、撫慰韓世忠的舊部，並把他們一律從楚州調到長江南岸的鎮江府。
在此調動期間，如果覺察到韓家軍稍有動搖生事等不穩情況，便可由張、嶽二人挾嫌誣構，誇大事態的嚴重性，把它徹底解決。
到韓家軍已被徹底解決之後，便再指派張俊去把嶽家軍徹底摧毀。
張俊、嶽飛行經鎮江時，首先把駐紮在那裏的韓家軍的一部分調往教場檢閱。
對於張、嶽二人這次之被指派閱視韓軍舊部的用意，張俊是理解得最為透徹的，因而，他提議把韓世忠的背嵬軍，即親衛軍拆散，把他們分別編插到別的部眾中去。
嶽飛立即提出反對意見，說道：
“不可以這樣做。因為，目前我們國家內真能領兵作戰的人，隻有咱們三四人，若想恢複中原，也隻有依靠咱們，萬一再要用兵作戰，皇上再令韓樞密出而主管軍隊，我們將有何麵目與之相見呢？”
張俊雖然被問得張口結舌，默不作聲，在內心裏卻又大大增加了對嶽飛的仇恨。
張俊和嶽飛於六月十六日到達楚州。嶽飛就住宿在台州知州的衙門裏，張俊卻住在楚州城外。
在他們到達的第二天，原任韓家軍中軍統製的王勝，率領了一支全副武裝的軍士到楚州城外去與張俊會麵。
在王勝到達之前，就已有人告訴張俊說，看王勝的這種來勢，似有殺害樞密使之意。張俊親自看到這支全副武裝人員，也不免有些膽怯和驚慌，便質問王勝說：
“你們這班將士，來與我相見，為什麼都要全副武裝呢？”
王勝回答他說：
“樞密使是來檢閱兵馬的，所以不敢不以軍人裝束相見。”
張俊要他們必須一律卸掉軍裝，然後才能會談，王勝等雖也全都照辦了，然而張俊對他們的疑慮和仇恨卻終難消失。
張、嶽兩人按照軍籍名冊點視了韓家軍的全部人馬，這才確知，這支雄踞淮東10餘年的韓家軍，總共才隻有30000人馬。
就這樣一支部隊，不但使得女真兵馬不敢輕易進犯，而且還有餘力去北圖山東，連獲勝捷。嶽飛對此不禁感到由衷的欽佩，而且對於有這樣治軍本領的韓世忠，也深加讚歎說：“真算得一名奇特非凡人物！”
張、嶽二人有一天一同“登城巡視”，看到城牆有傾圮之處，不便固守。張俊便又提議說，應當把城修好，以便守禦。嶽飛聽到後很不同意，因而不作回答。張俊再三要他作出答複，嶽飛便勉強回答說：
吾曹蒙國家厚恩，當相與努力，恢複中原；今若修築楚州城池，專為防守退保之計，將如何去激勵將士？
張俊聽了這番話大不高興，接著就又說了一些攻擊嶽飛的話語，嶽飛雖然沒有做任何反應，張俊卻還是怒不可遏，隨即遷怒於身邊的兩名“候兵”，強加於他們一個罪名而下令斬首。
嶽飛懇切勸止，終是不肯聽從。及至返回南宋行朝之後，張俊更把嶽飛的意見加以歪曲，在朝內朝外到處散播謠言，顛倒是非黑白，對嶽飛進行誣蔑。
他說嶽飛曾在楚州當眾宣言：楚州不可守，因而楚州城何必修？
張俊之所以製造這類謠言，是要說明嶽飛立意要放棄楚州，亦即放棄淮東整個地區，而退保長江。
然而事實上，真正要放棄淮南而退保長江的，卻並不是嶽飛，而是張俊、秦檜和趙構諸奸賊。
他們從此玩弄起賊喊捉賊的手法。
張俊的上述諸行為，越來越受到趙構和秦檜的賞識和寵信。他們目前暫先撇開嶽飛，依然共同策劃收拾韓家軍的勾當。
他買通了韓家軍中總管錢糧的胡紡，要他誣告韓家軍蓄謀造反，以便最後置韓世忠於死地。
胡紡本是個奸佞小人，兩年前襲殺張通古計劃，就因他告密而未能實施。這次，他又根據秦檜的意圖，出頭誣告韓世忠的部將耿著有“蠱惑眾聽，希圖生事”的“罪狀”。
秦檜立即命人逮捕耿著，嚴刑逼供，企圖牽上韓世忠，然後置之刑典。結果未能完全達到目的。
原在韓家軍總領錢糧的胡紡，這時已被秦檜、張俊所收買，便揣摩著當時局勢與主使人意圖，出麵誣告韓世忠的部將耿著“鼓惑眾聽，希圖生事”。耿著立即被逮捕入獄，繼被判決“杖脊，刺配青陽軍牢城”。秦檜等人的意圖，是要把這一案件盡量擴大，實行株連蔓抄，以最後達到懲治韓世忠本人這一目的為止。
嶽飛的為人，忠直強項，直情徑行。這次楚州之行，沒有使秦檜、趙構順利達成其收拾韓家軍的目的，更使得這夥操權得勢的奸惡集團，對嶽飛的仇恨又遠在韓世忠之上了。於是，還沒有來得及把耿著的案件照原來的陰謀擴大下去，秦檜、張俊、趙構等人的怨毒之氣，又要一股腦兒往嶽飛身上去發泄。
秦檜指使他的黨羽右諫議大夫萬俟編織罪名，彈劾嶽飛：
一是說嶽飛自從擔任樞密副使以後，悠閑消極，不問國事；
二是說嶽飛在今春的淮西之役中，違抗朝廷旨意，遲遲不出兵，以致有攝州敗北；
三是說嶽飛不久前同張俊前往楚州安撫韓世忠舊部時，竟然當著張俊的麵，反對修複楚州城垣，公然宣稱楚州應當放棄。
據此，萬俟要求朝廷免去嶽飛樞密副使官職，把他貶斥出朝。這些“罪狀”，除第一條事出有因外，其餘兩條完全是憑空捏造或故意歪曲。萬俟彈劾之後，趙構暫時未加處理。
與此同時，宋、金之間和關係又發生了新的變化。金朝自從兀術執掌軍政大權之後，連續兩次大舉南侵，都遭到以嶽家軍為主的宋軍的迎頭痛擊，損兵折將，一敗塗地。
兀術不得不承認“南宋近年軍勢雄銳。”他懾於嶽家軍的威力，改變了策略，再度使用誘降的辦法，以求達到他用攻戰所無法達到的目的。
紹興十一年八月初，兀術寫了一封“撅書”，讓早先被扣押的兩名宋將英莫和韓恕南歸，帶給趙構和秦檜。信中極盡威脅之能事，企圖逼迫趙構屈膝投降。
這件事很快地被嶽飛知道了。他實在按捺不住激動的心情，便鼓起勇氣，直諫說：“在我班師後，兀術無緣無故來約和，必是探聽我們的虛實，或者是虛聲訛詐，如果輕信他的話，則是有害而無利啊。”
秦檜見嶽飛仍然頑強不屈地反對和議，氣急敗壞，又唆使禦史中丞何鑄和殿中侍禦使羅汝揮兩個人，再次彈劾嶽飛。“罪名”無非是重彈萬俟的老調，並敦請朝廷給予嶽飛處分。
秦檜故意命萬俟將那些奏章抄了副本，交給嶽飛。
嶽飛知道自己被人彈劾，而且又是編造和一派胡言，心中氣憤之極，便上章自請罷免。這正合趙構和秦檜的心意。
當年八月初八，宋廷頒下詔旨，免去嶽飛的樞密副使之職，命他以“武勝定國軍節度使”充任“萬壽觀使”的閑職。
嶽飛被解除樞密院的官職，返回江州廬山舊居賦閑之後，朝廷上梗阻和議的最大障礙已除，趙構和秦檜等便進一步出賣主權、土地和人民。
他們先是派進劉光遠、曹勳二人，帶了求饒告哀的書信，去金營拜見兀術。
兀術不滿意於趙構信中的措詞和來使官位太低，將原函退回。他們連忙又改派官位較高的魏良臣和王公亮為“稟議使”，前往求見兀術，表示隻要金方按兵不動，議降的條件就一定聽從兀術的“鈞誨”。
魏良臣和王公亮到了金營一麵向兀術呈遞書信，一麵口述趙構和秦檜擬定的投降條件：
以淮水中流作為宋、金的分界線；
淮水以西的唐、鄧兩州，全部割讓予金；
每年向金貢納銀20萬兩、絹25萬匹……
哪知兀術的胃口更大，並不以此為滿足。經魏、王兩人再三叩頭哀求，兀術才勉強允諾。
趙構得到兀術允降的回書後，欣喜若狂，立即以“臣”自居，寫了堅決投降的“誓表”，答應割讓土地，交納歲幣，並厚顏無恥地說什麼“既蒙織造，許備藩方，世世子孫，謹守臣節”。
他還委派何鑄和曹勳為正副專使，去兀術軍營朝拜。
兀術見自己誘降策略完全成功，不免誌得意滿，即命何鑄、曹勳將趙構的“誓表”送往會寧府獻給大金皇帝。
由於兀術曾提出過一定要殺嶽飛方可言和的先決條件，因此，在趙構和秦檜的這場喪權辱國的大出賣過程中，一個置嶽飛於死地的罪惡勾當，即將付諸實施。