楊進、王再興、李貴、王大郎其他義軍也都有人馬幾萬到幾十萬。宗澤也派人去聯絡，說服他們團結一致，共同抗金。這樣一來，開封城的外圍防禦鞏固了，城裏人心安定，存糧充足，物價穩定，恢複了大亂前的局麵。
但是，就在宗澤準備北上恢複中原的時刻，宋高宗卻嫌南京不安全，準備繼續南逃。李綱因為反對南逃，被宋高宗撤了職。
這時候，宗澤手中的軍隊和河北各地義軍民兵互相呼應，宋軍的防禦力量，越來越強了。他一再上奏章，要求高宗回到開封，主持抗金。但是這些奏章根本就沒能送到皇帝的手裏，在半路上就被那些奸臣扣押住了。
沒有多久，金兵又再次分路大舉進攻。宗澤下定了決心，要堅守開封。當金朝的軍隊接近開封的時候，宗澤派出幾千精兵，繞到敵人後方，截斷敵人退路，然後又和伏兵前後夾擊，金軍大敗而逃。
不允許臨陣脫逃
宗澤曾經派部將郭振民、李景良帶兵襲擊宗翰，但是這兩個人打了敗仗，誰都不敢回去複命。後來，郭振民投降了金軍，李景良則是畏罪逃走。宗澤派兵捉拿到李景良，責備他說：“打仗失敗，本來可以原諒，現在你私自逃走，就是目中沒有主將了。”說完，下令把李景良推出斬首。
郭振民投降金軍之後，與一名金將來開封勸宗澤投降。宗澤在開封府大堂接見他們，對郭振民說：你如果在陣地上戰死，算得上一個忠義的鬼。現在你投降做了叛徒，居然還有臉來見我！”說著，喝令兵士把郭振民斬了。宗澤又回過頭對勸降的金將冷笑一聲說：“我守這座城，早準備跟你們拚命。你是金朝將領，沒能耐在戰場上打仗，卻想用花言巧語來誘騙我！”金將嚇得麵無人色，隻聽得宗澤吆喝一聲，幾個兵士上來，把金將也拉下去殺了。
可怕的“宗爺爺”
宗澤一連殺了三人，表示了抗金的堅定決心，大大鼓舞了宋軍士氣。他號令嚴明，指揮靈活，接連多次打敗金兵，威名越來越大。金軍將士對宗澤又害怕，又欽佩，提到宗澤，都把他稱做宗爺爺。宗澤依靠河北義軍，聚兵積糧，認為完全有力量收複中原，接連寫了二十幾道奏章，請高宗回到開封。不用說，那些奏章都被黃潛善他們擱了起來。
這時候，宗澤已經是快七十歲的老人了，他受不了這個氣，背上發毒瘡病倒了。部下一些將領去問候他，宗澤病已經很重。他張開眼睛激動地說：“我因為國仇不能報，心裏憂憤，才得了這個病。隻要你們努力殺敵，我死了也沒有遺憾了。”將領們聽了，個個感動得掉下熱淚。大夥離開的時候，隻聽得宗澤念著唐朝詩人杜甫的兩句詩：“出師未捷身先死，常使英雄淚滿襟！”接著，又用足力氣，呼喊：“過河！過河！過河！”才閉上眼睛。開封軍民聽到宗澤去世的消息，沒有一個不傷心得痛哭流涕。
宗澤去世後，宋朝派杜充做東京留守。杜充是個昏庸殘暴的人，一到開封，把宗澤的一切防守措施都廢除了。沒多久，中原地區又全都落在金軍手裏。