宗澤死了，宋朝廷又胡作非為，金兀術感到機會終於來了。
看到金兵大舉用兵，一路勢如破竹，宋高宗又開始搖尾乞憐，派人向金兀術示好。為了討好金兀術，高宗甚至主動去掉皇帝稱號，稱呼金兀術為父皇，讓人轉告金兀術，說自己很可憐，要守沒人，要跑已經沒地方跑了，求金兀術網開一麵，饒了自己。
宋朝皇帝卑賤到這種地步，讓金兀術更加囂張，金兀術對大將們說：“這次一定要抓住趙構這小子，上次他趁我不注意逃跑了，這次抓回來之後我要狠狠教訓他。”
杜充擔任東京留守之後，將士們的士氣早就瓦解了。這時候金兵要打過來，杜充嚇壞了，他不是傻子，自己知道根本不可能抵擋。到了這個地步，杜充跟高宗的想法一樣，千萬不能搭上自己的命，於是他帶著主力部隊南撤，將東京交給副留守郭仲荀。老郭也不是傻子，跟杜充一樣，他也溜之大吉，將東京城交給留守判官程昌寓。程昌寓也是聰明人，郭仲荀前腳剛走，他後腳就開溜，將擔子交給部將上官悟。
上官悟倒是個實在人，沒有逃跑，但這時候東京城已經混亂不堪，就算金兵不來，也差不多玩完了。東京大量的軍民逃亡，城內極其缺糧，街上到處是餓死的人。
趙構得知杜充逃跑，居然沒有責怪他，反而下了一道命令，讓他主持黃河以南的一切軍務。可惜，這時候杜充沒有心情去指揮了，他一路逃到長江以南。
建炎三年六月，嶽飛剿匪之後回到東京。杜充下了一道命令，讓他放棄東京，帶著軍隊到建康（今江蘇南京）。大家都在逃亡，但嶽飛絲毫沒有逃跑的意思，對於杜充的命令他非常憤怒，他讓人轉告杜充說：“大宋領土寸土不可丟，何況是京師東京，如果現在丟棄了東京，以後恐怕要用十萬人的生命才能收回來。”
杜充的回複很簡單：“服從命令，否則斬首。”
嶽飛的心情非常沉重，他讓王貴帶著幾十人回家鄉將自己的妻兒接到建康。自己帶著人馬按照杜充的指示奔赴建康，一路上嶽飛心事重重，他不明白朝廷為什麼要這樣，宗大帥本已經製定了北伐計劃，形勢一片大好，為什麼突然自相殘殺，到現在又放棄京師。
這時候，嶽飛隻有二十七歲，官場上的很多事情他看不懂。在他心裏，隻有精忠報國四個字，他又哪裏懂得那些齷齪的官場權術。嶽飛此時還抱有天真的幻想，心想局麵並沒有到非得逃跑的地步，如果是讓自己來擔任東京留守，就一定能守住東京。不但守住，還要指揮千軍萬馬渡過黃河，殺金人個片甲不留。朝廷中掌權的人都是些貪生怕死之輩，這些無能之人怎麼都當上了大官，就說杜充吧，是非常糟糕的一個人，但他偏偏就是統帥。
嶽飛覺得像杜充這種人，根本不配指揮自己，如果有一天自己能夠成為一方主帥，不再聽命於人就好了。那時候就可以充分發揮自己的軍事天賦，打得金人抬不起頭來。
當時南宋朝廷確實是非常昏庸的，像杜充這種無德無能又敗壞的大臣，卻被朝廷高層視為唯一能拯救江山的人。朝廷中的投降派無一例外都對杜充充滿好感，這讓人非常想不通，如此隻能用臭味相投來解釋。宋高宗嘉獎杜充是社稷大臣，一心為國，忘家忘身，智勇雙全，堪比古之名將。
可能是當時已經沒有可用的人了，所以高宗才對杜充寄予厚望，最後還提拔杜充為右丞相，負責所有的防務。除了張俊的部隊作為皇上的私人衛隊，其他的軍隊都歸杜充節製。像韓世忠、劉光世這樣的大將也必須聽杜充的節製，這讓韓世忠和劉光世很不滿，他們都知道杜充不過是浪得虛名之輩，也不懂皇上為什麼要這麼信任杜充。