幸好，這種折磨很快就消失了。金兵大舉進攻之時，杜充居然率眾投降了。看來在“逃跑將軍”的名號之外，還得給他加一個“投降將軍”了。
別的不管，至少嶽飛是自由了。從此，他活躍在長江南岸，成為南宋王朝一支最重要的抗金軍隊之一。嶽飛不但作戰勇敢，指揮有方，而且治軍極嚴。當時時局動蕩，一貫以“打劫”為目的的金兵就不說了，許多小混混、山大王也趁機渾水摸魚，幹著打家劫舍、騷擾百姓的勾當。當供給不足的時候，甚至連宋朝的正規部隊也免不了這樣做。隻有嶽飛的部隊例外。嶽飛明確約束部下：不拿老百姓的一針一線，損壞東西要賠，不打人罵人，不損壞莊稼,不偷看女人洗澡雲雲。有一陣，他們駐紮在鍾村，糧草跟不上了，他們寧願挨餓也不願去騷擾附近的百姓。這樣的部隊老百姓當然很喜歡了。他們領著子女踴躍參軍，報效國家。嶽飛的部隊也就逐漸壯大起來，人稱“嶽家軍”。
金兵南下，有不少南宋軍隊投降，也被編入金兵；這部分士兵被稱為籍兵，相當於後來抗日戰爭時期的日偽軍。他們身在金營心在宋，苦於沒有合適的時機歸順；如今聽說嶽飛的部隊如此深得人心，他們奔走相告，說“這是嶽爺爺的部隊”，爭先恐後前來投靠。
照說這些曾經投降過金兵的士兵，也算是身有汙跡了，給點鄙視也實屬正常。但嶽飛一律平等對待，毫不歧視他們，這也令得他們作戰時相當勇敢。嶽飛此舉大有宗澤風範：對部下無論親疏遠近，皆一視同仁。其實，嶽飛在行軍布陣方麵都深受宗澤的影響，實為宗澤老先生的隔世之交啊。
幾年下來，嶽家軍聲名鵲起，在老百姓心中是一支“仁義之師”的良好形象，而在金兵心中又是一支“威武之師”。在那樣的亂世，隻有嶽家軍能夠絕對做到對民間百姓秋毫無犯。因此，吉州、虔州兩州的老百姓對嶽飛感激不盡，家家戶戶都以懸掛嶽飛的畫像為榮。
經過了黃天蕩大戰，特別是嶽飛等人發動的兩次大規模北伐之後，金國的軍事實力已經每況愈下，而南宋各地的義軍風起雲湧，嶽飛之外，還出現了韓世忠、王彥、劉光世等眾多義軍將領，軍事實力大增，與北宋末年不可同日而言，就連金國皇太弟完顏斜也在遺囑裏也對南宋迅速增長的戰力表示憂慮：“吾大慮者，南宋近年軍勢雄銳，有心爭戰。”
可惜，在1139年，在抗金形勢一片大好的情況下，宋高宗與宰相秦檜居然積極籌劃與金議和。這一議和，就意味著先前被金國占領的大片土地合法化了，如此一來，還談什麼“收拾舊山河”呢？那就成侵略人家了。嶽飛那個著急啊，連夜寫了一個帖子，送給宋高宗審閱。在帖子裏嶽飛斥責金國不守信用，“金人不可信，和好不可恃”。繼而，嶽飛強烈的批評了秦檜同學的右傾投降主義活動，也因此在秦同學心裏埋下了一顆仇恨的種子。
預料之中，嶽飛的帖子宋高宗根本就沒放在眼裏，議和照常進行。很快事情就成了。宋高宗那個高興啊，當即下令，天下大赦，對文武百官們大加封賞。嶽飛作為抗金功臣，宋高宗也大大賞賜了一番：開府儀同三司（一品官銜）的爵賞和三千五百戶食邑的封賜。應該說，這是一個非常豐厚的賞賜。但奇怪的是，嶽飛偏偏不肯領受。宋高宗倔脾氣也發了：你不要我偏偏要給你！連發三次詔書，命令他接受。