但軍隊和前線還真離不開嶽飛，趙構隻好隱忍不發。
趙構趕緊派人去湖廣安定軍心，又派人去廬山叫嶽飛回來。
嶽飛不理趙構，繼續留在廬山盡孝。
而淮西軍前的情況果然如嶽飛所料，因為領導班子不團結，釀成了史稱“淮西兵變”的大事件。酈瓊等將領殺死呂祉，帶領全軍四萬餘人，並裹脅前線百姓十餘萬投降了“大齊國”。淮西兵變幾乎改寫了天下局勢。剛剛拚得血本無歸的劉豫因此而得到了大量生力軍和百姓的補充，頓時恢複了元氣；而南宋的淮西一帶突然變成了真空，政府軍白白損失了約四分之一的部隊，東南核心也暴露給了敵人。趙構和朝廷都震動了。
宰相張浚首當其衝受到淮西兵變的影響，他因“處置不當”被罷官，貶往永州居住。而趙構對前線將領更加猜忌了。偏偏形勢大變的時候，嶽飛還在廬山發脾氣，就是不出山複職。趙構給湖廣的主要官員下了最嚴厲的命令，說： 你們去請嶽飛複職，請不來，你們也都別做官了，和嶽飛一起為民吧！
於是，李若虛等人隻好爬上廬山敦請嶽飛下山。嶽飛堅持不肯。僵持到第六天，李若虛也來了脾氣：“將軍，莫非您要造反嗎？將軍一再抗旨，如何讓朝廷再信任您？人們不得不懷疑，您是否因為手握兵權，就要和朝廷抗衡了！”頓了頓，他又說：“將軍堅持不複出，我們可以陪您免職。可您不覺得有愧於北伐大業嗎？”
嶽飛歎了口氣，隨他們下山了。他為此三次向趙構謝罪。趙構對嶽飛的成見已經根深蒂固了，但表麵上仍說：“我沒有生你的氣，不然我早就懲處你了。太祖皇帝說過： ‘犯吾法者，唯有劍耳。’朝廷繼續讓你統領部隊，托付給你中興大業，就是因為我沒生你的氣。”
嶽飛最後回到了大本營，厲兵秣馬，做繼續北伐的準備。
二
公元1137年九十月間，嶽飛再次被召見，前往建康見駕。在九江，他遇到了同時被召見的隨軍轉運薛弼。兩人於是相約同船而行。
薛弼很自然和嶽飛談起了被召見的緣由和奏對。嶽飛十分嚴肅地說：“我這次到朝廷去，還將奏陳一樁有關國本的大計。”薛弼就問他是什麼大計。
嶽飛解釋說：“先帝（指宋欽宗）即位的時候，曾在靖康元年冊立皇子趙諶為太子。我軍情報說，敵人已經將趙諶送回了汴京，想用他來交換我方俘虜的耳目，實際是想擾亂朝廷的皇統。所以為朝廷計，不如將讀書於資善堂的建國公（指宗室趙伯琮）正式立為皇太子，這樣就使敵人無計可施了。”
薛弼聽後，默然無語。在船上，他發現戎馬十數年的嶽飛把大部分時間都用來練習小楷。嶽飛用小楷親自撰寫請求將建國公趙伯琮立為太子的奏章。
薛弼善意地提醒嶽飛：“您身為大將，似不應幹預此事。”
嶽飛正色說：“臣子一體，不應該顧慮形跡，不應該顧慮個人得失。”
到了建康後，趙構和嶽飛談得興起。嶽飛拿出早已準備好的奏章對趙構說：“皇上，後宮一直沒有太子。為了江山社稷，您應該早立一個太子才是。”對於他來說，趙宋皇室是國家和民族的象征，也是他在前線浴血奮戰所效忠的那個國家的載體。如今朝廷形勢還算不上高枕無憂，萬一趙構哪天不幸“過去”了，趙宋王朝就沒辦法延續下去了。從這個角度來說，王朝的確是需要有個“預備皇帝”。
但從趙構的角度來說，嶽飛這話簡直就是“哪壺不開提哪壺”。他想都沒想，就冷冰冰地說：“愛卿雖然出於忠心，但是在外手握重兵，這類事體並不是你所應當參與的。”
嶽飛聽了這話，非常尷尬，隻好匆忙告辭了。退下殿堂時，嶽飛麵色如死灰一般。他終於意識到自己觸犯的是皇家最大的忌諱，那就是手握重兵的武將對皇位繼承不能表露出興趣來。皇權繼承問題在曆朝曆代都是絕對核心的敏感問題，最容易讓人和那些手握重權、重兵的文臣武將的政治野心聯係起來。當嶽飛嚴肅地向不到30歲、正千方百計鞏固皇位的趙構提出早立太子的問題的時候，趙構猛然覺得眼前這個人不僅僅是莽撞、自私、愛發脾氣，更是心術不正了。
薛弼接著得到召見。趙構對他說：“嶽飛剛才請立建國公為太子，我告誡他說有些事情並不是外將可以幹涉的。”
薛弼忙把自己在路上看到的事情全部告訴了趙構，並說：“臣雖然在他的屬下，但沒有預聞此事。嶽飛的所有密奏，都是他親自撰寫的。”
第二天，宰相趙鼎入朝的時候，趙構依然對昨天的事情念念不忘，把事情和趙鼎說了：“他嶽飛參與的事情太多了！”趙鼎也表示：“想不到嶽飛他竟然這樣不守本分。”
退朝後，趙鼎對薛弼說：“嶽飛這麼做，絕不是保全功名、善始善終的辦法。”