劉豫連續慘敗，不得不孤注一擲，調動“大齊國”所有能調動的軍隊南下攻宋。公元1136年秋天，劉豫兵分三路進犯南方。張浚滿懷信心地迎戰劉麟，還請趙構北上長江邊觀戰。誰想，負責防守廬州的劉光世竟然放棄廬州，南逃長江北岸的當塗。整個江淮戰線為之動搖。幸虧其他各部拚死抵抗，戰局得以扭轉，戰線恢複如初。
戰後，劉光世成了眾矢之的，要求罷免他的聲音此起彼伏。劉光世非常識相，稱病請辭。他貪腐甚多，早已經安排好了安樂窩，徹底享受去了。
劉光世一走，給朝廷留下一個大難題。劉光世手下那5萬多人的部隊是趙構的嫡係部隊。下屬的王德、酈瓊等人都是悍將，士兵也都是老兵。讓誰來接掌這支前線部隊呢？最現實的人選隻有三個： 韓世忠、張俊和嶽飛。劉光世和韓世忠兩部發生過摩擦，留下了血賬，積怨很深。把劉光世的部隊劃歸韓世忠的部隊顯然是不行的。而張俊因為能力所限，指揮不動劉光世的部隊。所以，趙構開始的意思是讓嶽飛接管劉光世的部隊。也似乎隻有嶽飛才能鎮住酈瓊等悍將。之前，嶽飛去見趙構，說湖廣新收複地區的地方政權不健全，請示怎麼辦。趙構隻派了一個叫李若虛的文官擔任京西南路提舉兼轉運、提刑，而知州級別以下的官員隨嶽飛安置。嶽飛變相擁有了直接統治湖北、襄陽府路的前所未有的權力。君臣二人在公元1137年又見了一麵，趙構口頭表示：“愛卿，朝廷要重新調整劉光世部隊的歸屬了。你回去好好考慮一下接管的事情吧。”為了使嶽飛能順利接收劉光世的部隊，趙構還提前準備，向劉部的主要將領頒發了手詔，要求他們在新主帥任命之前聽從嶽飛的指揮。
但是宰相張浚反對嶽飛接管劉部兵馬。他的理由很簡單，如果嶽飛接管了劉光世的軍隊，他指揮的軍隊就超過了朝廷正規軍的一半，而且都是精銳。到那時候，嶽飛有兵有地盤，權勢必將大大超越同僚，威脅朝廷安危。張浚對趙構說：“皇上，朝廷不僅要保持隊伍的穩定，更要保證朝廷的權威和穩定。”趙構轉而支持張浚。於是，嶽飛接管劉部兵馬的任命就耽擱下來了。
公元1137年，朝廷提拔王德為淮西的劉光世部隊的主帥，統製官酈瓊為副帥，文官呂祉以參謀身份去劉部做監軍。
那怎麼安撫嶽飛呢？畢竟之前已經半公開地把部隊托付給嶽飛了啊。趙構給嶽飛下了一道措辭委婉的手詔後，就讓張浚去給自己擦屁股。張浚將嶽飛叫來，想把這件出爾反爾的事情給解釋清楚了。張浚是反對嶽飛接管劉部的，但又不想坦誠地說明自己的理由。他先是和嶽飛打哈哈，裝作不知道嶽飛原本要接管劉部的樣子，又裝模作樣地征求嶽飛對王德統率淮西軍隊的意見。
嶽飛是老實人，不明白其中的“繞繞”。他從張浚嘴裏聽到這個消息，心裏肯定是不高興的。但是上級向自己征詢意見，嶽飛就實事求是地回答：“王德和酈瓊兩個人關係緊張，讓他們搭成領導班子，恐怕搞不好團結啊。而呂祉是個書生，空降到軍隊中，恐怕難以服眾。”
張浚又詢問如果讓張俊、楊沂中二人接管，結果會如何。嶽飛又一一指出了他們二人的缺點。實際上，王、酈、呂三人班子的組成是張浚的主意。現在嶽飛直接指出了這樣安排的不妥，張浚就不高興了，說了句：“難道淮西的軍隊就離不開嶽將軍你嗎？”
嶽飛一切都是出於公心，聽了後憤慨地說：“張相，您以軍情相詢，我據實回答，從沒有圖謀友軍！”說完，他拂袖而去。
嶽飛跑去見趙構，陳述了自己對淮西軍隊和抗金的想法。他念念不忘的還是抓住當前有利形勢，抽調軍隊從河南南部出兵進攻關、陝地區的計劃。
趙構問：“按照你的計劃，恢複中原大概需要多少時間？”
嶽飛說：“估計需要三年時間。”
趙構坦率地說：“朝廷的重心在東南。東南全靠淮西軍隊作為屏障。如果抽調劉光世的軍隊北伐，能夠恢複中原，我當然舍得；但如果抽調了淮西的部隊，不但不能恢複中原，卻先把江淮給丟失了，那麼，勢必連建康和杭州也難保了。到時候，問題就嚴重了。”
嶽飛還在朝廷的時候，張浚彈劾嶽飛的奏章也到了。顯然張浚對直白樸實的嶽飛產生了誤解。反過來，嶽飛也對張浚有了誤解，同時在北伐建議不被采納的情況下，產生了委屈無助的心理。情緒無法排解的嶽飛立即上了一道奏章請求辭職。沒等朝廷批複，嶽飛就找了個借口撂攤子了。
不久前，嶽飛的母親逝世了，埋在廬山。嶽飛這個人奉母至孝，老母親生病，吃的藥嶽飛都要親自試嚐。探望母親時，嶽飛走路都躡手躡腳的，唯恐發出聲音來影響了母親的休息。嶽飛強壓著悲痛和不滿的情緒，扶著母親的靈柩，去廬山給母親掃墓守孝去了。
湖廣前線的軍政大事，嶽飛擅自交給了親信張憲。也真是不湊巧，張憲當時正在生病，不能代理司令官的指揮。嶽家軍失去了嶽飛，又無人指揮，軍情鬆動起來。情況反饋到趙構那裏的時候就“加工”成了另外的情形，變成了嶽飛向朝廷示威，警告朝廷嶽家軍和湖廣前線離了嶽飛就不行。它像匕首刺中心髒一樣，讓趙構喘不過氣來。趙構原來就對嶽飛有憂慮和不滿，現在恨不得下詔：免去嶽飛本兼各職，流放天涯海角。