金軍聽說宗澤已經扭轉了汴京的局勢，想要探聽一下虛實，便派人來到開封府。宗澤立即下令把這些人拘禁起來，準備殺掉他們。宋高宗聽說之後，怕金軍借此興師問罪，急忙下令給宗澤，要他好好款待金國使者，不許怠慢。宗澤接到命令之後，生氣極了。他立即上書給宋高宗說：“國家過了多年的太平日子，產生了麻痹思想，結果招致了靖康年間的奇恥大辱。如今金人前來探聽我們的消息，除掉他們就是為了警告金國。陛下的命令，我實在不敢接受。”宋高宗看了宗澤的上書，生怕宗澤真的違反命令，把金國的使者殺了，連忙又寫了親筆信，派人星夜趕到汴京，硬逼宗澤釋放金國的使者。投降派黃潛善竟然說宗澤拘禁金國使者是錯誤行為，應該追究責任。尚書左丞許景衡替宗澤辯護說：宗澤做開封知府很有成績，威信高，防守嚴，希望朝廷重用他，使他能為國家建立更大的功勞。
事實上，宗澤並沒有以安定汴京為滿足。他四處聯絡愛國將領，跟他們共同商量收複失地的辦法。他在汴京設立了招兵站，招收自願從軍殺敵的壯士，把他們訓練成精銳的隊伍。他又根據地理形勢，在城外設立了24個據點，派兵把守，保衛京城。還在黃河沿岸每隔幾裏路修建一個堡寨，稱為連珠寨，派兵把守，形成一條鞏固的防線。
宗澤對於宋高宗遲遲不回汴京，一味想跟金軍議和，還想繼續南逃的行為十分不滿。他一再上書給宋高宗，指出妥協退讓隻能助長金人南下的野心，京師是天下的心腹，如果拋棄京師南逃，就好比拋棄心髒一樣，這種做法是錯誤的。可是，宗澤一連上了24道奏章，都被當時已升任宰相的黃潛善扣壓下來，得不到回音。有幾次，宋高宗雖然親服看到了奏章，也未予以答理。昏君奸臣一個鼻孔出氣，是決不會接受宗澤的正確意見的。
宗澤聽說金軍正在黃河上造浮橋，準備再次進攻汴京，便派部將劉衍去滑州，劉達去鄭州，各帶兵2萬，戰車200輛，跟汴京結成犄角之勢，以便互相策應。金軍見宗澤有了準備，就拆掉浮橋退走了。第2年年初，金兵偷襲鄭州，進軍到白沙，逼近汴京。汴京城裏人心惶惶，以為災難又要臨頭。部將也沉不住氣，急忙前來請戰。隻見宗澤正在跟客人下棋。他聽到軍報後，笑笑說：“這有什麼可大驚小怪的，我正等著他們哩!”他直到把一盤棋下完以後，才下令派幾千精兵繞到敵後，去策應劉衍他們。金軍正在跟劉衍的隊伍激戰，突然見宋軍從背後殺了過來，使他們處於腹背受敵的境地。他們怕挨打，慌忙丟掉武器，狼奔豕突地四散逃命。
元宵節到了，宗澤下令將士們加強防守。同時，在城裏貼出布告，號召市民像平時一樣舉辦元宵燈會，祝願新的勝利趕快到來。金軍不知虛實，派兵前來進攻，半路上被早就埋伏在那裏的劉衍打得大敗。
由於宗澤在對金軍作戰中屢次獲勝，使得金軍聞風喪膽。他們害怕宗澤，背地裏都叫他“宗爺爺”。
可是宋高宗並不重視宗澤的戰功，對宗澤請他回師汴京的建議一直沒有采納。宗澤特地派自己的兒子宗穎去求見宋高宗，說明回師汴京的重要性，但是宋高宗根本不接見。宗澤見自己的20多次上書都白費了，不禁憂憤成疾，背上生了一個碗口大的疔瘡，不斷地化膿潰爛。他知道自己已經不行了，整天念著杜甫歌頌諸葛亮的那首詩，每當念到“出師未捷身先死，長使英雄淚滿襟”這兩句時，就情不自禁地流下淚來。建炎四年（1130年）的一天，正當金軍南下發動攻勢的緊張時刻，70歲的老將宗澤終於與世長辭了。死的時候，他沒有留下別的遺言，隻是坐起來連喊了三聲：“過河！過河!過河!”意思是叫大家不要忘記了過河北伐，去打敗金軍，收複失地。