金兵撤走以後，李綱也被降為兵部侍郎。李邦彥、張俊這些人反而升官發財。這個結局非常不公平，嶽飛看到官場這麼黑暗，心想這個官隻怕自己也當不好，於是準備解散嶽家軍，自己辭官回鄉。
聽到這個消息，楊再興和張保等人過來跪地請求嶽飛不要解散嶽家軍。
楊再興：“嶽將軍，嶽家軍是你的心血啊，你怎麼能說解散就解散？”
嶽飛：“現在已經沒有仗打了，不解散留著也是吃白飯。”
張保：“將軍可不能這麼說啊，金兵指不定什麼時候又來進攻，一旦解散了嶽家軍，想再次集結這麼一批軍隊就難了。”
王貴：“是啊，大哥，嶽家軍已經有五千人，規模不小了。”
嶽飛想了想說：“你們說的也有道理，那我就不解散了，不過這個官我不想做了，我想回去好好清靜一段時間。”
洪先急道：“大哥，嶽家軍怎麼離得了你呢？”
嶽飛：“沒有仗打，誰在這裏還不都是一樣。這樣吧，我把嶽家軍托付給楊再興、張保、王貴三人。楊再興是名將之後，在我走後，嶽家軍就聽楊再興將軍指揮，你們願意回鄉的跟我回鄉，不願回鄉的就在這裏輔佐楊再興。”
牛皋：“大哥，你要回鄉，我牛皋當然跟你回鄉，不過牛皋還是希望大哥留下來。”
嶽飛：“牛皋，你要想留下來就留下來吧！不必跟著我。”
張憲鎮定地說：“大哥，我看金兵遲早還會侵犯我大宋，就算回家，一旦戰事開啟，你還是得過來，嶽家軍不能沒有你，大宋不能沒有你。”
嶽飛：“我嶽飛這一生，以保家衛國為重任，金兵來犯，嶽飛當然要挺身而出，隻是官場黑暗，太平之時就不需要我了。”
嶽飛決定了以後，沒有人能說服他，牛皋和張憲、徐慶等老鄉隨嶽飛回鄉，王貴、洪先等人留在這裏和楊再興、張保一起照看嶽家軍。
嶽飛離開軍隊回家這一年是二十四歲，雖然年紀輕輕，但他已經是宋朝的一個得力將領。然而官場的黑暗讓他不願久留軍中，正好國家暫時太平，他也就回鄉照顧妻兒了。在嶽飛居家的這段日子裏，他的第三個兒子誕生了，嶽飛取名為嶽震，至此嶽飛共有三個兒子：嶽雲、嶽雷、嶽震。嶽雲和嶽雷後來都成為嶽飛在戰場上的得力助手。
嶽雲和嶽雷跟嶽飛小時候一樣，都喜歡舞槍弄棒。嶽飛是文武雙全，而這兩個兒子對武術的興趣遠勝過學問。此時的嶽震還在繈褓中，看不出性格和喜好。
嶽飛對內子劉氏說：“將來等雲兒和雷兒長大，也要他們隨我上戰場殺敵。”