這樣一來，開封城的外圍防禦鞏固了，城裏人心安定，存糧充足，物價穩定，恢複了安定的局麵。但是，就在宗澤準備北上恢複中原的時刻，宋高宗和黃潛善、汪伯彥卻嫌南京不安全，準備繼續南逃。李綱因反對南逃，被宋高宗撤了職。宗澤十分焦急，親自渡過黃河，約河北各路義軍將領共同抗擊金兵。他在開封周圍，修築了二十四座堡壘，沿著黃河設立營寨，互相連接，密集得像魚鱗一樣，叫做“連珠寨”，加上河東、河北各地義軍民兵互相呼應，宋軍的防禦力量，越來越強了。
宗澤一再上奏章，要求高宗回到開封，主持抗金。但是奏章到了黃潛善等人手裏，這批奸人竟取笑宗澤是個狂人，把他的奏章扣了下來。過了不久，宋高宗就從南京逃到揚州去了。沒有多久，金兵果然又大舉進攻宋王朝。金太宗派大將兀術(又叫宗弼)進攻開封，宗澤事先派部將分別駐守洛陽和鄭州。兀術帶兵接近開封的時候，宗澤派出幾千精兵，繞到敵人後方，截斷敵人退路，然後又和伏兵前後夾擊，把兀術打得狼狽逃走。
在宗澤帶兵與全兵衝殺時，有一個叫李景良的將領因為戰敗逃跑了。後來，宗澤派兵捉拿到李景良，責備他說：“打仗失敗，本來可以原諒；現在你私自逃來，就是目中沒有主將了。”說完，下令把李景良推出斬首。
有一位貪生怕死的將領郭振民向金軍投降之後，宗翰派了一名金將跟郭振民一起到開封，勸宗澤投降。宗澤在開封府大堂接見他們，對郭振民說：“你如果在陣上戰死，算得上一個忠義的鬼。現在你投降做了叛徒，居然還有什麼臉來見我！”說著，喝令兵士把郭振民也斬了。
宗澤又回過頭對勸降的金將威嚴地說：“我守住這座城，早準備跟你們拚命。你是金朝將領，沒能耐在戰場上打仗，卻想用花言巧語來誘騙我！”金將嚇得麵無人色，隻聽得宗澤吆喝一聲，幾個兵士上來，把金將也拉下去殺了。
宗澤一連殺了三人，表示了抗金的堅定決心，大大激勵了宋軍士氣。他號令嚴明，指揮靈活，接連多次打敗金兵，威名越來越大。金軍將士對宗澤又害怕，又欽佩，提到宗澤都把他稱做宗爺爺。宗澤依靠河北義軍，聚兵積糧，認為完全有力量收複中原，接連寫了二十幾道奏章，請高宗回到開封，但沒有回應。
宗澤已經是快七十歲的老人了，朝廷敷衍了事，他焦灼得背上發毒瘡病倒了。部下一些將領去問候他，宗澤病已經很重。他張開眼睛激動地說：“我因為國仇不能報，心裏憂憤，才得了這個病。隻要你們努力殺敵，我死了也沒有遺憾了。”
將領們聽了，個個感動得掉下熱淚。大夥離開的時候，隻聽得宗澤念著唐朝詩人杜甫的兩句詩：“出師未捷身先死，長使英雄淚滿襟！”接著，又用足力氣，呼喊：“過河！過河！過河！”才闔上眼睛。時為建炎二年七月。開封軍民聽到宗澤去世的消息，沒有一個不傷心得痛哭流涕。
宗澤去世後，宋朝派杜充做東京留守。杜充是個昏庸殘暴的人，一到開封，把宗澤的一切防守措施都廢除了。沒多久，中原地區又全都落在金軍手裏。