就在這年初，金軍大將馬五率騎兵五千，奔襲揚州，一心要活捉高宗。高宗完全亂了陣腳，於二月初一下令官民自行逃避。又將皇子與六宮送至杭州。到初三日，金軍已離揚州百裏，高宗驚得魂飛魄散，帶領數人，身著甲胄飛馬出逃，渡江跑到了鎮江。
金兵如果再追，大宋很可能就會有第三個俘虜皇帝了。多虧寶應縣（今屬江蘇）的官紳發動當地百姓起兵抗金，使占領揚州的金軍深感不可久留，迅即回撤。這才躲過了一劫。高宗還朝後，也許是痛定思痛，想起了李綱當宰相時的好處。要不是因為自己害怕失去皇位，哪裏會出現這樣的結果，如果自己是名正言順地皇位繼承者，而不要顧忌父、兄的奪帝之憂，自己一定會重用李綱堅決抗金的。
於是良心發現，李綱對宋朝廷確實是忠心耿耿，自己和黃潛善等人與金人合謀設計陷害李綱，真是太過分了。都是因為自己恐懼沒有皇帝做，怕欽宗問罪，加上自己處處顧忌皇帝的麵子對李綱那耿直的性格無法接受。這是自己太自私的體現啊。就因為這樣，自己把他貶到海外，實在不該，想到此時便連忙下詔赦免。這個遲來的赦免，使李綱的這一路折騰，更像是遭受了一次惡作劇式的懲罰。這真是喜不得、悲不得，惟有慨歎而已！李綱父子倆聽到赦免消息後，並沒有馬上返回，而是在海南逗留一個多月在這裏他寫下了憂國憂民和自己感懷人生的許多詩詞：古來雲海浩茫茫，北望淒然欲斷腸。不得中州近消息，六龍何處駐東皇？胡騎長驅擾漢疆，廟堂高枕失堤防。關河自昔稱天府，淮海於今作戰場。
退避固知非得計，威靈何以鎮四方？中原夷狄相盛衰，聖哲從來隻自強。詩中歎惜自己抗金的政治主張不能實現，使國家的局勢更加惡化，增加了老百姓的苦難，對當時的賣國投降分子進行了尖銳的諷刺。最後表示了他的奮發圖強、抵抗侵略的堅定信心。也抒發了自己的悲戀人生。但他又想，自己比蘇東坡畢竟是幸運多了。蘇東坡在這邊陲之地的儋州，寂寞生活了三年之久，在踏上瓊島土地之後，自己又何嚐沒想過，將怎樣苦度這樣漫長的時光。現在看來，倒是“萍梗追思卻自驚”了。他興奮之餘，寫下了兩首詩以言誌，其中一首雲：行年舊說是東坡，鯨海於今亦再過。儋耳三年時已久，瓊山十日幸尤多。卻收老眼來觀國，尚冀中原早戢戈。病廢不堪當世用，感恩惟有涕滂沱！鯨海於今亦再過。儋耳三年時已久，瓊山十日幸尤多。卻收老眼來觀國，尚冀中原早戢戈。病廢不堪當世用，感恩惟有涕滂沱！
李綱父子渡海北歸了。這天，正遇到冬日無風的好天氣，水天一色，猶如藍瑩瑩的琉璃。歸鄉的心情，極為美好，李綱在船上吟詠道：纖雲四卷日方中，海色天光上下同。身在琉璃光合裏，碧空涵水水涵空。
別了，海南！李綱奔走平生，早已厭倦了在貶途上無謂地耗費生命。但是“暮年”時乘船浮於海的經曆，還是令他大有觸動：自己在浩茫碧海中，一個人真的很渺小很渺小啊！