擊退了完顏洪烈的追兵之後，江南六怪也出現了，以他們對郭靖以往的教導，若是郭靖不娶華箏的話，那就是背信棄義。而一旁的丘處機聞言就不樂意了，在丘處機看來郭靖的婚約在他還沒有出生的時候就已經定下了。穆念慈雖然不是楊鐵心的親生女兒，但也和親生女兒差不多。而且穆念慈不管是長相還是性格都不比蒙古公主差，加上穆念慈和郭靖都拜了洪七公為師，這身份也配得上郭靖，所以認為華箏不管怎麼看都配不上郭靖，所以直接站出來和江南六怪爭論了起來。最終還是穆念慈主動站出來說自己已經心有所屬，這才讓丘處機和江南六怪停止了爭論。
郭靖也跟自己的師傅們和丘處機等人說起了自己喜歡黃蓉的事情，但大家都認為黃蓉非郭靖良配，一直反對了這門親事。這讓郭靖很是無奈。
短暫的相距之後，江南六怪護送托雷一行前往臨安，而郭靖則和丘處機一起護送楊鐵心一家前往終南山。幾天之後終於碰到了前來接應的馬鈺等人，而郭靖算了算時間，發現已經離他跟林天約定好的前往桃花島之期不遠了，於是把楊鐵心一家托付給全真教眾人，自己則獨自一人向嘉興趕來。途徑寶應的時候碰上了歐陽克采花事件，郭靖果斷出手擊退了歐陽克。這才耽誤了一些時間，今日才感到嘉興。
林天在聽到郭靖的敘述之後，心中不由的有些感慨。也不知道自己該怎麼安慰郭靖，不知道怎麼開口不如就不開口了。陪著郭靖大醉了一場後，第二天一早，兩人來到了碼頭上希望租一條船前往桃花島。可惜讓林天沒有想到的是，所有的船家在聽林天說要前往桃花島的時候，都不敢接林天這單生意。
原來黃藥師為人性情古怪，不拘世俗禮法，但偏偏看不慣**之徒、賣國之人、欺善怕惡之輩。但凡讓他碰到上述這幾種人，就都抓回桃花島，也不殺死，割掉他們的舌頭、弄聾他們的耳朵，困起他們來做仆役。既懲治了他們，也不虞他們泄漏桃花島的武學以及偷聽到桃花島的秘密。
黃藥師長此行事，難免就傳揚了出去，愚公愚婦不知個中緣由，以訛傳訛之下，事情就走了味，大家都傳在東海桃花島上住這一個神通廣大的惡魔，以折磨人為樂事，但凡有誤入桃花島者，運氣不好的直接被他折磨死，運氣好的也會被他刺聾耳朵割掉舌頭，困在島上長久折磨。
因此海邊之人都畏桃花島有如蛇蠍，相互告誡不敢靠近島四十裏以內，若是提起桃花島的名字，任憑出多少金錢，也絕無海船漁船敢去。林天無奈，隻好在雇船時並沒有說桃花島，而是說到距離桃花島不算太遠的蝦峙島去。等出了畸頭洋後，這才逼著船家轉道向北前往桃花島。
那船夫本來是說什麼也不敢去的，但當林天將一柄寒光閃閃的長劍指在他的胸前後，去還有可能躲過惡魔平安回返，若是不去，立時就得丟掉性命，船夫權衡利弊，隻得認命遵從。
郭靖明白林天這隻是權宜之計，他知道林天不是濫殺無辜之人，隻是嚇唬嚇唬那船夫而已，因此心中雖有不願，但卻沒有多說什麼。
半日之後，船將近島，林天已聞到海風中夾著撲鼻花香，遠遠望去，但見島上鬱鬱蔥蔥，一團綠、一團紅、一團黃、一團紫，端的是繁花似錦，不似人間景色。林天雖然對桃花島的景致早有耳聞，但此番真正看見，還是忍不住讚歎不已。
船隻靠了岸，林天和郭靖兩人離船上島，那船夫也聽到過不少關於桃花島的傳言，說島主殺人不眨眼，最愛挖人心肝肺腸，割耳割舌，因此一見兩人上岸，疾忙把舵回船，便欲遠逃，連船錢也顧不得要了，隻盼著能夠早早離開這傳說中的凶險之地，生怕稍多停留一會兒，便有性命之憂。