高宗半壁江山坐穩後就來處理黃潛善和汪伯彥的事情了。黃潛善貪戀祿位,還厚不廉恥地上疏稱:“艱難之時,不敢具文求退。”想不離開高宗左右,因為他認為自己為高宗貢獻太多了,為他的南宋朝廷傾注太多的心血。他還以為小枚能夠幫上忙。想消費著癡情女子的感情。豈不知自己造孽太深,以無藥可救。高宗不能再遷就小枚了。要知道遷就意味斷送半壁江山,甚至人頭落地。高宗現在唯一能做的就是看在小枚的麵子上和黃潛善跟隨自己多年的情份上饒他不死。可是黃潛善還不死心,他不想這樣退出曆史舞台。這樣對他的打擊太大了,他是個嗜官如命之人,這樣就等於要了他的命啊!他與汪伯彥一起上疏高宗請求自己不離開高宗的左右,講他們之間的友誼,他們之間怎樣過那一道一道的坎,講到傷心處三人都聲淚俱下。這時候韓世忠要求見高宗,高宗見韓世忠將他們與金國一起陷害李綱的人證、物證要呈上的時候,他驚嚇住了,這要是被勤王將領知道那還得了,他再不去考慮汪、黃二人的感受和與他們的情誼了。
淚水它改變不了目前的問題,他要求韓世忠對那件事情要高度保密,韓世忠無奈地點了頭,但要高宗迅速處理他們,不能再拖了。否則,事情還會鬧騰的。高宗從苗傅和劉正彥想另立皇帝的事件中已經完全意思到了留下黃潛善和汪伯彥對朝廷已經沒有一絲裨益,隻能帶來更大的危害。現在自己無力保住他們,更不能留在朝廷了。強行為之,南宋朝廷就會被顛覆。而且他們兩人的命運隻會更加悲慘。高宗將目前情況攤開來給他們兩人自己定奪,兩人覺得在理,都無有話說,隻求高宗還能夠想到他們便可。然而朝廷中丞張澂彈劾黃潛善和汪伯彥20條大罪,朝野都認為揚洲大潰退的罪責應當歸在黃潛善和汪伯彥身上,高宗對這件事情確實有不滿之處,對金兵的情況隱瞞不報不早定策略以至招來金兵之侮,讓自己吃盡了苦頭,這兩人確實是虛偽奸詐、誤國誤民。於是,汪伯彥被黜,居永州(今湖南零陵)。把黃潛善貶為觀文殿大學士,知江寧府(今江蘇南京),旋又削職居衡州(今湖南衡陽)。
鄭玨繼之上書,說黃潛善罪惡比汪伯彥更大;王廷秀也跟著上書切責,才勒令安置英州(今廣東英德)。諫官袁植請求將黃潛善處斬,高宗不答應,想起黃潛善為自己的皇帝位置和自己的南下做了很多事情,也背了許多罵名,為自己黃潛善還貢獻出心愛之人。故將黃潛善改置梅州(今廣東梅縣)。一連串的貶謫和打擊讓黃潛善難以接受,痛苦萬分,想想自己的人生軌跡和悲切的後果,真是傷痛欲絕。他多麼想高宗哪天再次召回自己為朝廷出力啊!他好想去自己的家鄉,看看父老鄉親,家鄉幾十年未回啊!孩時的情景曆曆在目浮想聯翩……
金軍南下後,南宋已經組織不起來像樣的抵抗,州縣官員棄城而逃的甚多。這一年,李綱已經46歲,陪伴他踏上漫漫長路的,惟有次子李宗之,抵達瓊州三日忽蒙“天恩”赦免,這次突如其來的赦免,與高宗的某些思想轉變有關。