削除朝中大將的兵權後，高宗等人又加緊了議和的行動，金朝也表示了議行和談的意圖。嶽飛明明知道皇上主意已定，但他還是上書，陳明了議和的害處。
秦檜本來對嶽飛就滿懷忌恨，這一下，更促使奉檜加速了謀害嶽飛的步伐。他唆使右諫議大夫萬俟X和禦史中丞何鑄、殿中侍禦史羅汝楫出麵彈劾嶽飛。可是，他們找來找去，也找不出一條可以陷害嶽飛的理由，像嶽飛這樣忠心耿耿、獻身於民族戰場的人，確實是沒有什麼把柄可供他們抓的。
萬俟X曾任湖北路轉運判官。當時，嶽飛在西湖開府，因工作關係，嶽飛與他有過接觸，從而覺察到這個人奸詐狡猾，不可相信。萬俊X感覺到嶽飛對他的冷淡，對嶽飛產生了怨恨。後來秦檜看中了他，拉他入朝當了個監察禦史。他一直在伺機報複嶽飛，這回秦檜叫他彈劾嶽飛，恰好給了他一個發泄私怨的機會。
萬俟X絞盡腦汁，羅列出了嶽飛的幾條罪證。第一，誌得意滿，時時有歸隱之心。第二，淮西戰役，拒旨不行，不肯出師。第三，說楚州“不可守”，公開主張放棄楚州。前一條隻能說明嶽飛不願身居高位，而後兩條則完全是捏造的，找不到任何的證據。此外，他們甚至對嶽飛建議皇儲和去年大舉北伐，也大加誣蔑。高宗也把握時機，親自出麵配合。
嶽飛看穿了高宗的陰謀，便再三地請求解職。不久，高宗解除他的樞密副使的職務，令他任萬壽觀使的閑職。
嶽飛被解除職務後，悵悵地離開杭州，重上廬山閑居去了。
秦檜一夥隨後就著手摧殘嶽家軍，同時進一步羅織誣陷嶽飛的罪狀。張俊利用職權，對嶽飛的部下王貴進行威脅利誘。因為王貴曾在一次戰役中怯戰，嶽飛要將他斬首示眾，因眾將懇求而獲免。秦檜和張俊以為王貴一定會怨恨嶽飛，但是王貴拒絕了。最後，秦繪一夥又抓住他家的隱私進行脅持，王貴為了保全家性命，終於屈從了。秦檜一夥費盡了心思，在鄂州全軍將領中，也隻收買到了三四個敗類。
張憲的前軍統製王俊，綽號叫王雕兒，他平常坑害無辜，無惡不作，就像雕捕食一樣。自從編入嶽家軍後，他從來沒有立過功，也沒能獲得升遷，而且還因為他作惡多端，屢屢遭到張憲製裁，因此早就懷恨在心。後來秦檜拉攏黨羽時，便將他收了進來。
當王貴返回鄂州後，王俊便向王貴投呈了誣告狀，說張憲得知嶽飛罷官賦閑後，陰謀裹脅大軍去襄陽，以威逼朝廷把軍隊還給嶽飛。狀詞偽造得非常拙劣，仔細看就能看出許多破綻來。王俊曾經將狀紙投送湖北路轉運使，但不被接受。王貴心裏明白，這是在誣陷，卻違心地將狀紙交給秦檜的黨羽林大聲，林大聲又以急報發往鎮江樞密行府。
張俊接到狀紙時，張憲剛好抵達鎮江。張俊立刻便將張憲逮捕了。張俊親自主持審訊，把張憲打得體無完膚，幾次昏死過去，張憲還是沒說出什麼他們想要的口供。喪心病狂的秦檜奏請高宗，要將張憲、嶽雲押送到大理寺，並召嶽飛到大理寺一同審訊。高宗立刻同意了。
嶽飛罷官後，不願意繼續留在臨安，於是便告假回到江州的私邸暫住。
長年在外作戰的嶽飛，終於可以乘此機會好好地享受天倫之樂了。嶽雲等兄妹都成立家室。39歲的嶽飛正當盛年，已成為抱兒弄孫的祖父。
初冬十日，廬山天氣已經非常寒冷。一天，嶽飛正在室內練字，忽聽仆人報“楊殿帥”來了。楊殿帥，即殿前都指揮使楊沂中，是禁衛軍的長官，高宗的親信。他為什麼要到廬山來？嶽飛大惑不解。