嶽飛在韓世忠的問題上秉公盡義，因此更得罪了秦檜，也得罪了趙構。七月間，嶽飛從楚州回到臨安。十六日，秦檜唆使右諫議大夫萬俟咼首先發難，上書指責嶽飛“爵高祿厚，誌滿意得，日漸頹惰”。具體“罪狀”有二：一是柘皋之戰，違反詔旨，不及時發兵，很久才到蘄、舒；二是揚言楚州不可守，沮喪士氣，動搖民心。萬俟咼請求罷免嶽飛的樞密副使。趙構親自出場配合，首肯萬俟咼的話，說：“嶽飛公然聲稱楚州不可守，修城有什麼用，這是因為將士久戍楚州而感到厭煩，想棄城而到別處去，嶽飛的用意是附合下級以釣聲譽，所以說出這種話來，叫朕去依靠誰！”秦檜乘機推波助瀾，說：“嶽飛的話說到這個地步，而朝廷內外有的人還不知道。”接著，禦史中丞何鑄、殿中侍禦史羅汝楫也交章彈劾嶽飛，大意跟萬俟咼所說相同，請求趙構“速賜處分”。嶽飛立即連上三奏，要求辭職。八月九日，趙構罷免嶽飛樞密副使之職，改任萬壽觀使的閑職。
嶽飛居閑後，既無兵，又無權，但是，趙構和秦檜對嶽飛的迫害並不到此止步。他們覺得嶽飛雖已罷官，但他的愛將王貴和張憲仍分別擔任嶽家軍的都統製和副都統製；同時，英勇善戰的嶽家軍依舊存在。這些都使他們不能放心。因此，他們又施展一係列陰謀詭計，以達到殺害嶽飛和解散嶽家軍的目的。
還在六月間，趙構和秦檜就已派林大聲為湖、廣總領官，不僅總管嶽家軍糧餉，還有權統率各軍。林大聲到鄂州後，想方設法收集嶽飛的材料，網羅敗類，企圖使嶽飛的部將們互相攻擊，然後牽連嶽飛父子。嶽飛手下有一個叫王俊的前軍副統製，屢次因奸貪而受到張憲的處罰，對張憲懷恨在心。林大聲覓到王俊，如獲至寶，便向王俊暗示了秦檜的意圖。王俊受寵若驚，覺得這是難得的升官發財的好機會，還可乘機報複張憲。
林大聲和王俊經過精心策劃，由王俊出麵誣告說，張憲曾對王俊談及，為嶽飛罷官，準備裹脅大軍由鄂州移屯襄陽，逼迫朝廷釋放嶽飛，並把兵權交還給嶽飛。如朝廷派兵來剿，則請番兵幫助。王俊的狀詞破綻很多，最明顯的是張憲和王俊原來關係並不融洽，王俊又是盡人皆知、專事告密的無恥之徒，張憲決不會跟他推心置腹地商議這種大事。
張憲原準備去臨安朝見趙構。等張憲經過鎮江時，王俊的誣告狀已送到了張俊手中。張俊立即在鎮江將張憲拘押起來。根據宋朝的法製，樞密院無權審訊犯人，但張俊求功心切，不等將張憲解往臨安，就在行府私設刑堂。張俊使用種種毒刑，把張憲打得體無完膚，企圖逼迫張憲承認收到過嶽飛的親筆信，信上命令張憲設法使朝廷將兵權歸還嶽飛。並把王俊叫來當堂對證，但張憲寧死不屈，不肯誣認。張俊見動刑和對證都不能使張憲屈服，便假造供詞，上奏說：張憲已供認“在收到嶽飛文字後謀反”。
按照事先的策劃，不論指使王俊誣告，或者脅迫王貴，拷打張憲，無非是為了順藤摸瓜，以牽連嶽飛父子。十月十三日，趙構傳下“聖旨”，命令在刑部大理寺設立製勘院，以審理此案，然後“聞奏”。於是嶽飛和嶽雲都被逮捕，押送到大理寺獄之中。與此同時，朝廷還出榜公布，說張憲一案“其謀牽連嶽飛，遂逮捕歸案，設詔獄審問”。此案由趙構親自審理，可見關係重大。
嶽飛被投入牢獄後，由禦史中丞何鑄、大理卿周三畏共同審訊。何鑄原來附和秦檜，曾參預彈劾嶽飛。審訊時，何鑄傳嶽飛到庭，要嶽飛交待“謀反”的罪行。嶽飛撕開衣服，袒露背部，叫何鑄看他背上刺著的“盡忠報國”四個大字。這幾個字深深透入肌膚，是他老母姚氏早年親手刺上的。何鑄不禁深受感動。在繼續審訊時，何鑄逐步發現王俊的狀詞、張俊的奏章等都是無實據的誣陷之詞，說明嶽飛蒙受了不白之冤。他把這一看法稟告秦檜。秦檜聽罷，大為不滿，便向何鑄透露，這次逮捕和審訊嶽飛不是他秦檜的主意，而是“聖上的意思”。何鑄不聽，仍然據理力爭，說：“我何鑄豈止是為了一個嶽飛！強敵未滅，無故殺一名大將，會失去士卒的信心，不是社稷長久之計！”秦檜無言以對，憤憤而去。