北宋滅亡以後，原來留在相州的康王趙構逃到南京(今河南商丘)。公元1127年五月，趙構在南京應天府即位，康王趙構是宋徽宗的第9個兒子，他的年號為建炎，這就是宋高宗。這個偏安的宋王朝，後來定都臨安(今浙江杭州)，曆史上稱做南宋。
宋高宗即位以後，在輿論的壓力下，不得不把李綱召回朝廷，擔任宰相。但是實際上他信任的卻是黃潛善和汪伯彥兩個親信。李綱提出許多抗金的主張。他跟宋高宗說：“要收複東京，非用宗澤不可。”
宗澤是一位堅決抗金的將領。他自幼豪爽有大誌，元佑六年(公元1091年)登進士第，曆任館陶尉、龍遊令、知掖縣和通判登州。北宋滅亡之前，宋欽宗曾經派他以少卿當和議使，到金京議和。宗澤跟人說：“我這次出使，不打算活著回來。如果金人肯退兵就好；要不然，我就跟他們爭到底。寧肯丟腦袋，也不讓國家蒙受恥辱。”
宋欽宗一聽宗澤口氣那麼硬，怕他妨礙和談，就撤了他和議使的職務，派他到磁州去當地方官。
金兵第二次攻打東京的時候，宗澤領兵打擊金兵，一連打了十三次勝仗，形勢很好。他寫信給當時的康王趙構，要求他召集各路將領，會師東京；又寫信給三個將領，要他們聯合行動，救援京城。那些將領卻不願出兵，宗澤沒辦法，隻好單獨帶兵作戰。有一次，他率領的宋軍遭到金軍的包圍，金軍的兵力比宋軍多十倍。宗澤對將士說：“今天進也是死，退也是死，我們一定要從死裏殺出一條生路來。”將士們受到他的激勵，以一當百，英勇作戰，果然殺退了金軍。敵軍陣亡數千人，被迫後撤了十餘裏。仗雖然打贏了，但金軍數倍於我的實力並未改變。倘若敵人再戰，那可就危險了。宗澤毫不遲疑，黃昏時便帶領部隊迅速轉移，安全撤出重圍。當天夜晚，金兵集台大批鐵騎向宗澤發動了突襲，但衝進他的駐地一看，方知是一座空營。自此以後，一提起宗澤，金人就害怕，再也不敢輕易同他交鋒了。
宋高宗早就了解宗澤的勇敢，這次聽了李綱的推薦，就派宗澤為開封府知府。這時候，金兵雖然已經撤出開封，但是開封城經過兩次大戰，城牆全部被破壞了。金兵經常在靠近開封的黃河北岸活動。開封城裏人心惶惶，秩序很亂。
宗澤在軍民中有很大的威望。他一到開封，先下了一道命令：“凡是搶劫居民財物的，一律按軍法嚴辦。”命令剛發出去時，城裏仍舊發生了幾起搶劫案件。宗澤殺了幾個搶劫犯，秩序就漸漸安定了下來。河北人民忍受不了金兵的掠奪燒殺，紛紛組織義軍，打擊金軍。李綱竭力主張依靠義軍力量，組織新的抗金隊伍。宗澤到了開封之後，積極聯絡義軍。河北各地義軍聽到宗澤的威名，自願接受他的指揮。
河東有個義軍首領王善聚集了七十萬人馬，想襲擊開封。宗澤得知這個消息，單身騎馬去見王善。他流著眼淚對王善說：“現在正是國家危急的時候，如果有像您這樣的幾個英雄，同心協力抗戰，金人還敢侵犯我們嗎？”王善被他說得流下了感動的眼淚，說：“願聽宗公指揮。”其他義軍像楊進、王再興、李貴、王大郎，都有人馬幾萬到幾十萬。宗澤也派人去聯係，說服他們團結一致，共同抗金。