大亂之後，開封城內物價飛漲，宗澤知道這是有奸商在乘機囤積居奇，他仍是先在市場上找幾個哄抬物價者，殺頭示眾，但物價仍然沒降下來。原來城中宗室權貴都參與了操縱市場的行為，於是宗澤大加禁止，並開五丈河以通西北行商，終於把開封的物價穩定了戰前的水平。
宗澤在開封大力修築城防設施，並廣泛聯合城外的綠林勢力，邀請他們加入到反金陣營中。河東義軍首領王善號稱擁有七十萬人馬，準備乘亂進占開封。宗澤單人匹騎進入王善營中，見到王善後，握著他的手聲淚俱下，說：“如果朝廷在危難之時，有像您一樣的哪怕是一兩個人，哪裏還會有什麼敵患。現在可正是你立功的時候，機不可失啊。”王善深為感動，當下解甲歸降。當時，往還於黃淮之間的起義軍還有數萬人，首領分別是楊進、王再興、李貴、王大郎等人，他們也先後投到宗澤麾下，一時間開封府軍威大振。
在金兵攻占洛陽的時候，宗澤派部將郭振民、李景良帶兵前去支援，結果打了敗仗。郭振民向金軍投降，李景良嚇得跑走了。宗澤隨即派兵將李景良捉拿回來，說：“打仗失敗，本是情有可原，但你私自逃走，就罪無可赦了。”說完，令兵士將李景良推出斬首。郭振民投降後，金人派他和一名金將一起到開封，勸宗澤投降。宗澤在開封府大堂接見他們，對郭振民說：“如果你在陣前戰死，那就是是忠義之鬼。可你現在做了叛徒，竟然還有臉來見我！”隨即喝令兵士把郭振民推出去斬了。宗澤對同行的金將不住地冷笑，說：“我既然守了這座城池，早就已經不再惜命，你既是金朝將領，就應該在戰場上打仗，想來這裏用花言巧語誘騙我，那你找錯了門路！”說著，旁邊上來幾個兵士，把金將也拉下去殺了。
宗澤連殺三人，表明了抗金的堅定決心，大大激勵了宋軍士氣。
此時嶽飛投奔宗澤的帳下，宗澤非常欣賞他的才能，令他統領騎兵精幹，嶽飛聽命而行，立了不少戰功。
建炎二年（1128年）春，金兀術從鄭州到達白沙，離汴京很近。宗澤選派了精兵數千人，繞到敵後，埋伏在金人的退路上，與前麵的宋軍對金人形成前後夾擊之勢，將金兵打得大敗，金兀術被迫撤兵離去。宗澤屢次打敗金人，威名越來越大，金軍將士對宗澤又害怕，又欽佩，提到宗澤，稱他為宗爺爺。
宗澤計劃兵分數路渡過黃河，收複北方失地，他接連寫了二十幾道奏章，請高宗回到開封，但都被擱置不議。宗澤非常生氣，此時他已經是七十多歲的老人，又急又氣之下，背上毒瘡發作。當將士們去問候他時，宗澤已經病得很重。他張開眼睛激動地說：“我是因為國仇不能報，心裏憂憤，才得了這個病。隻要你們努力殺敵，我死了也沒有遺憾了。出師未捷身先死，長使英雄淚滿襟！”宗澤大聲地念出唐朝詩人杜甫的名句，將士們聽了無不流下熱淚。最後，宗澤連呼三聲“渡河！渡河！渡河”，離開了人世。
宗澤死後，兒子宗穎和部將嶽飛將他的靈柩護送到鎮江，與夫人陳氏合葬於京峴山麓。高宗派了杜充來開封接替宗澤的職務，杜充一到，就把宗澤的一切防守措施都廢除了，宗澤好不容易聚集起來的各路義軍也作鳥獸散。沒過多久，中原地區又全部落在金軍手裏。