盡管心存疑慮，趙昺還是奉太後懿旨來到城外‘療養’。延祥園位於孤山，是西湖景觀最好的一處皇家園林，觀湖景一覽無遺。舊名四聖堂，原是林和靖故居。可能許多人與趙昺一樣都不知道這林和靖是何許人也，但是提起‘梅妻鶴子’大概都聽說過。
林和靖是本地人，出生於儒學世家，恬淡好古，早年曾遊曆於江淮等地，終身不仕，未娶妻，與梅花、仙鶴作伴，自謂：然吾誌之所適，非室家也，非功名富貴也，隻覺青山綠水與我情相宜。四十多歲後隱居杭州西湖，結廬孤山。
其以湖山為伴，常駕小舟遍遊西湖諸寺廟，與高僧詩友相往還，相傳二十餘年足不及城市，以布衣終身。每逢客至，叫門童子縱鶴放飛，林逋見鶴必棹舟歸來。丞相王隨、杭州郡守薛映均敬其為人，又愛其詩，時趨孤山與之唱和，並出俸銀為之重建新宅。與範仲淹、梅堯臣有詩唱和。
真宗聞林和靖之名，賜粟帛，並詔告府縣存恤之。逋雖感激，但不以此驕人。人多勸其出仕，均被他婉言謝絕。終生不仕不娶，無子，惟喜植梅養鶴，自謂以梅為妻，以鶴為子，時人稱梅妻鶴子。既老，自為墓於廬側，六十一卒，其侄林彰、林彬同至杭州，治喪盡禮。州為上聞，仁宗嗟悼，賜諡“和靖先生”，葬孤山故廬側。
宋室南渡後，在孤山建皇家道觀四聖堂，並修建了禦園。高宗、孝宗和理宗都曾臨幸，理宗時期將四聖延祥觀改建為西太乙宮。但這個時期國力下降，理宗本不熱衷於建園，隻因太史上奏太乙真君臨梁、益分，請用天聖故事，於國城西南別建新宮，以順方向，於是擇八角鎮地，建宮奉安，遂析延祥觀地為宮。
西太乙宮與四聖延祥觀並建一起，成為孤山的主要建築群。當年高宗建四聖延祥觀時，孤山一帶的寺院、陵墓皆遷往它地，隻留下林和靖墓沒有遷走，留下了孤山賞梅的杭州一景。唐時白居易稱孤山為蓬萊宮在水中央，因此禦園具有湖上仙境的意境，可見這塊地風水絕好，也是臨安皇家宮觀中景觀最好的一處，並不遜於其他遊賞類禦園。
太後將這裏選做趙昺的休養地，一是此處修建的時間並不是很長，主要建築都尚完好，不需要進行大的整修；二者風景不錯，正可修心養性，殺殺他連續征戰身上沾染的煞氣；三者這裏離城不遠，便於相互往來。另外就是不可告知的原因了。
清晨即起，已經成了趙昺的生活習慣，當然也有例外的時候。他圍著孤山跑了幾圈，而身後當然少不了一幫侍衛陪著。雖然江南已經入夏，但是比之瓊州還算是涼快，可十裏路跑下來也是渾身上下已經沒有了幹地方，看著比之前世不知道清亮多少倍的西湖水，他有種想跳進去的衝動。
“陛下千萬不要想不開！”陳墩看小皇帝眼睛直勾勾的看著湖水，急忙擋在他身前道。
“胡說什麼呢？我不過是想到西湖中洗個澡，涼快涼快罷了！”趙昺將其撥拉到一邊道。
“陛下萬萬不可，這周圍人來船往，被人撞見豈不難堪！”陳墩又趕緊擋在小皇帝身前，指指海上往來的漁船道。
“嗬嗬，我忽然想回瓊州了，你呢？”趙昺看著湖上的漁船和待客的遊船幹笑兩聲道。這裏的一湖清水，如何也比不上浩瀚的大海，這湖中的孤島，又如何與瓊州相比，他感到了一股莫名的憋悶。
“陛下怎麼會生出這種心思？不過陛下去哪，屬下就跟著去哪！”陳墩看到小皇帝似有些失落，又有些迷茫的樣子言道。
“我覺得這臨安城太小了，不及瓊州放眼望去，四周皆是波濤洶湧的大海，比之這一潭波瀾不驚的湖水讓人有更多的豪情！”趙昺指指西湖言道。
“陛下是想學林和靖梅妻鶴子終老在這孤山之上！”陳墩聽了心裏一驚，自從小皇帝奉旨移居延祥園以來情緒一直低落，今天又說出這種話來，讓他覺得有些不妙。