就在大戰在即之時，秦檜邀請宋人在金被迫為官的宇文虛中和吳激等人到撻懶府中寫詩、填詞，寫字、作畫。這撻懶是個中原文化迷，一有機會就召集這些才子們寫對子比書畫，快樂至極。正當撻懶寫對聯時，忽然有人來報，說是完顏晟要他去商議出兵事宜。撻懶連忙準備，並要大家晚上在他府中飲酒作詩，不能推辭，到了晚上大家都喝得七、八分醉的時候，吳激隱約聽見說高宗迂腐，輕信誑語，將李綱貶謫之類的話語。
他連忙用冷水澆頭強打精神，將此事告知宇文虛中，兩人遂將他們灌醉，將秘密檔案謄寫一份，放鴿至韓世忠帳中，並要他注意金、宋兩國的來往人員。果然黃潛善和汪伯彥派往金國要與金人合謀的使者被捉，由於受不了酷刑就將事情的原委全部招供、畫押。加上金國絕密檔案材料，人證物證俱在。韓世忠夫妻十分憤慨，如此的陷害，如此的賣國。這次看你高宗還有什麼話說，又如何處理和應對。可是，韓世忠轉念一想，現在還不是時候，他要等待時機，這件事情需要極為的保密，一旦泄露，自己的命運就不知道怎麼樣了。於是，他再三的囑咐知戀人員寫下軍令狀，不可泄漏半點消息，否則軍法無情。
李綱不久貶鄂州(今湖北武漢市武昌)，黃潛善和汪伯彥怕李綱影響力太大，日後鬧出什麼事情來，就建議高宗要將李綱貶謫更遠的地方。高宗稍為思考了一下說：“那就讓他流放到海南島的萬安軍(今廣東儋縣東南)吧。這已經是天崖海角了。”
排除了李綱和他的抗金大將，又打亂了李綱的抗金部署。於是完顏晟毫無顧忌地犯境南下，一路下來無人能擋。高宗本身就不想抗金，隻是希望李綱召回的勤王兵馬能夠保他南逃足可，目的就是建立自己想要的南宋政權，如果保護自己的兵馬不夠的話就要像微、欽二弟那樣被金人掠去。於是（建炎元年），高宗在勤王兵馬的簇擁下南逃揚州，金人卻死死追趕，於次年兵鋒指向揚州。三年，高宗自揚州至鎮江，再至杭州，又北上建康府(今南京)遂致書金人，表示願意削去宋朝國號稱臣。金人哪裏還會答應，拒絕高宗投降，再次向南挺進，他們誓言要：“搜山檢海捉趙構”。高宗則自建康而鎮江、杭州、越州、明州、定海，直至乘船逃入大海。金人也入海追擊，因遇大風雨且金軍不擅長水戰，隻得作罷。高宗的逃跑主義，和利用奸臣陷害李綱的行徑，激起民眾的強烈抗議。李綱的罷相還引起了朝野的不平。
許多大臣紛紛上書說：“李綱用他的軍事才能，全身心的為宋朝出謀劃策，一次又一次打敗金兵，把畢生精力殫慮於靖康、建炎年間。而陛下確不重用他反而聽信讒言，加以貶謫，哪有這樣的道理？如果還是李綱做主帥，二帝何至於北行，而宋朝廷也不至於南渡偏安。因此陛下用李綱則朝廷平安，用小人朝廷則危險，甚至要滅亡。這樣的道理陛下不會不懂。李綱忠義，舍棄了他就是丟棄了朝廷中興之大才呀。誰人不喜歡過那安逸的生活啊，可是不去抗爭，一味和談妥協朝廷會平安嗎？金人隻會得寸進尺，永不安寧。
然而李綱居相位僅七十五日，他的謀略還不見用，就貶謫了他，唯獨相信於黃潛善、汪伯彥之流的話、而且加以重用，就是欽宗皇帝都不會這樣做的，陛下是個聰慧而且有主見的人，這樣的道理應該比我們清楚，陛下如果是昏君則大臣必然是奸侫，昏君、奸侫為政，朝廷哪有不倒之理，這樣還有誰能迎回二帝，不迎二帝豈不是無仁義之人嗎？就是蒼天都不容。李綱雖然屢遭排斥，對皇家和朝廷忠誠之心不變，不給予重用將他舍棄是何故啊！陛下若不醒悟，振興朝廷的大業將付之東流，民心也將離去。國家也將滅亡，陛下的去處不會比二帝好多少，若重新起用李綱，大家同仇敵愾，趕走金兵直搗黃龍，救我二帝便能實現。”除了官員的不平，還激起將士、學生和老百姓的強烈憤慨，人們紛紛上街遊行，要懲治投降派，恢複李綱職務，重新任用李綱。北上抗金，雪國恥、救二帝。