“獨餘少輕小卷軸、書帖，寫本李、杜、韓、柳集，世說，鹽鐵論，漢唐石刻副本數十軸，三代鼎鼐十數事，南唐寫本書數篋，偶病中把玩，搬在臥內者，巋然獨存。”清照的身邊隻剩下一些輕便小卷的書畫和碑刻拓本，包括李白、杜甫、韓愈、柳宗元等名家的詩文集抄本，另有《世說新語》《鹽鐵論》手抄本，和漢唐石刻副本數十軸，還有夏商周三代的十幾件青銅鼎鼐、數篋南唐手抄本書……這些東西因清照十分珍愛，在病中要把玩欣賞，一直放在臥室裏，所以不舍得離身托送到洪州，故能保存下來，這已屬不幸中的大幸吧！
局勢紛亂，清照獨身一人，又該何去何從？此時，長江的上遊已經不能去了，思前想後，隻好投奔弟弟李迒。李迒正任敕局刪定官，隨禦駕而行，換言之，清照需帶著手上僅存的珍物，一路追趕，跟隨朝廷逃亡的隊伍。
建炎三年是宋高宗最為顛沛的一年，金國大將完顏兀術率大軍緊逼在後，勢要捉拿宋帝。宋高宗采納了宰相呂頤浩的意見，決定出海避難，把宋廷移到海上，美其名曰“巡幸東南”。當時的情形，“去者有風濤之患，留者有兵火之虞，相別殿門外，皆麵無人色”，許多人不願繼續追隨朝廷，或留越州，或攜家人外逃，離亂不堪。
隨著宋高宗的步跡，清照匆匆追去，到了台州時，卻發現台州守臣已經逃跑。清照北上剡縣，宋高宗又已乘船南下了。於是，她舍下了多餘的衣被，趕到黃岩，雇了一艘船出海，奔向朝廷的方向章安鎮。
建炎四年（1130）正月，金人破了明州（今浙江寧波），又攻陷了舟山島的昌國（今浙江定海）。正要追及宋高宗的船時，突然海上風雨大作，宋軍趁機反擊一把，金人敗退，而且金人不習水戰，又長途奔襲，也隻好北撤，這才讓高宗有了喘息的機會。
此時，清照追隨禦船取海道到了溫州，上岸歇息了兩個月。本來新近喪夫的清照，再加上一程的奔勞，已是身心疲憊，而且要時刻警心留存在身邊僅有的文物珍籍，實在是太累了。這種累，是出自內心深處的倦怠，似乎閉著眼睛，便不願再睜眼麵對。現實，卻偏偏需要她一個柔軟女子去承擔這接踵而來的苦難，真是如何以堪？
到底是什麼力量的支撐，她竟然堅持了下來……
三月，宋高宗率領船隊離開了溫州，經定海到達明州。而清照也重新開始了她的海上漂泊，仿若一葉浮萍，抵下了世途的凶險，憑著驚人的意誌和信念存活了下來。直到四月，清照回到了越州，暫時安頓了下來，投靠在弟弟李迒的家裏，結束了海上的奔旅。
清照獨自漂流於海上的時候，曾來到溫州北甌江中心的一個孤嶼，這座江心嶼被晉代詩人謝靈運讚賞為：“亂流趨正絕，孤嶼媚中川。雲日相輝映，空水共澄鮮。”兩峰上各有一塔，東塔建於唐代鹹通十年（869年），十年後再建西塔，遙遙相對。這裏柔秀幽麗、風景宜人，讓清照本是抑鬱難堪的心稍有舒展，於是作有一詞以記之：
天接雲濤連曉霧，星河欲轉千帆舞。仿佛夢魂歸帝所。聞天語，殷勤問我歸何處。
我報路長嗟日暮，學詩謾有驚人句。九萬裏風鵬正舉。風休住，蓬舟吹取三山去。
——《漁家傲》
清照向來詞風清麗深婉，這首《漁家傲》卻不一樣，通篇大氣磅礴、意境闊遠。錄在《花庵詞選》等籍中題為《記夢》，不過這眼前的一切也許並非虛無幻化之景。
“天接雲濤連曉霧，星河欲轉千帆舞。”蒼穹之上雲光繚繞，霧絲霏霏，洶湧翻騰的雲浪與長天相接，露出道道湛藍的罅隙，獨演著千頃波濤的景致，卻不聞撕裂天地的驚駭狂吼聲。曉色迷蒙，第一縷曙光穿透雲層直達人間，星河流轉，仿若千帆競舞。我們無法看穿雲濤盡處的深邃和神秘，那裏似乎蘊涵著無比的力量，可以包容人們心中所有的傷痛。抬頭看天，觸摸雲河的生命機理，感覺自然脈搏的跳動，“仿佛夢魂歸帝所。聞天語，殷勤問我歸何處。”我欲乘風歸去，夢中神遊，一恍惚，便到了宋高宗所駐蹕之地。這幾個月，一路追逐，長途跋涉，經曆難與人道的艱辛，不就為了找到宋高宗所在的朝廷隊伍嗎？
仿佛聽見帝君在關切詢問，問自己要歸向何方。實際上，不過是清照心有切切願，希望能盡早追及帝蹤。這種寫法，實賦神奇的色彩和浪漫的想象。《離騷》裏就有“吾令帝閽開關兮，倚閶闔而望予”，以叩帝閽被拒來表達詩人上下求索的艱難。
清照這樣獨運匠心的藝術構思，為下闋埋下了鋪墊，自然過渡到後文中。