李綱哪裏知道金國人還沒有等這邊下戰書，就已經差人送來以二帝換兩河的要求。高宗連忙召集大臣商議。有人提議先將二帝換回來，使二帝免遭羞辱和折磨。兩河日後還可以收複。黃潛善連忙說道：“我大宋如今士氣正旺，各路兵馬皆已到齊，現在答應金人如此苛刻的要求，這不是傷及將士和民眾之心嗎？”黃潛善的話正中高宗下懷。怎麼也不能讓二帝現在就回來啊，自己還剛登基做皇帝呢。高宗又看了看李綱。而李綱對那些割地求和平的做法是最為惱火的，他強壓心中的怒火問那官員：“你隻會想我們用土地換和平，用土地換二帝。怎麼不想我們進攻金國直搗他黃龍，救我二帝呢？難道不想我們應該如何給金人講條件嗎？要知道兩河地區幅員遼闊，物產豐富，它的麵積不會比燕雲十六洲小哦，這要是割讓金人，汝心就安嗎？而且金人狼子之心豈會滿足？不滅大宋，他們是不會罷休的。”高宗見李綱這樣說了，就大聲嗬斥道：“若還有要朕答應金人之所求的，以賣國論處。”眾人皆驚怵哪還敢言語。
李綱建議高宗道：“現在全部兵馬已經到齊，可以向金人開戰，自己的兵力配備和戰略部署已經全部完成，雖說張浚的大軍遲了兩天到達，但是總算沒有耽誤時機，當然了處分還是必要的，如果誰都可以改變計劃，豈不亂了套麼？希望陛下明日起程移都卞京，安定軍心和民心。各路大軍的將士們戮力同心，共同對敵。”高宗連聲應允。
正當李綱完成了勤王兵馬和各路抗金大軍的軍事部署，準備與金人開戰時。高宗不是叫人遷都卞京，而是做出了李綱任尚書左仆射兼門下侍郎(左相)的決定，另委黃潛善接任右仆射兼中書侍郎，以牽製李綱。接著，又罷免張所、傅亮，撤銷了河北招撫司及河東經製司，蓄意破壞了李綱的整個抗金部署，李綱哪裏知道事情竟這樣的突然，他還沒有弄清其原因又撤消了他所有的軍事指揮權。
他感到愕然，追問其原因所在，高宗不給他任何申述的機會就被請進了大理寺，原來高宗在金國的臥底，從金人那裏得知李綱要張所、傅亮他們在金人攻城時候放棄守城並策應金人南下。消滅了高宗之後，就扶持李綱治理中原，國號都有，取“正德”。而且還搜出金人賄賂張所、傅亮的金條和寶物。李綱一聽簡直攤倒，這明顯就是高宗和金人唱的雙簧戲。要將自己扳倒，其目的就是要自己放棄抗金，放棄迎救二帝，因為二帝回來高宗的皇位定然不保，還要追查他的欺君大罪。
於是他就答應了和金國人共同演繹了這一出戲。加上誌大才疏、心胸狹隘、嫉賢妒能的張浚對汪、黃誤國之罪“緘口不言”。卻相信黃潛善和汪伯彥的撥弄是非，在汪、黃的唆使下，張浚就胡亂編造李綱十條大罪，把李綱說成偽臣叛黨之人，從而換取高宗給他的兩河軍政大權。張浚幫高宗他們編造謊言彈劾李綱，可以說好處多多。既升了官，又逃脫了李綱給自己誤時的追責，還踢開了張所、傅亮這兩塊擋在自己升官之路的絆腳石，真可謂是一舉多得也。