“一自坡公謫南海，天下不敢輕惠州”。離開惠州，千裏貶途，踏上粵西，走進雷州半島大地。雷州是人文薈萃之地，曆代南來騷人墨客，遷仕第宦多會於此。可能當時並無驛路直接去瓊崖，蘇東坡騎著蹇驢取道廣西藤州往雷州。他知道弟弟蘇轍也因此獲罪，而被貶往雷州。
蘇軾弟蘇轍，字子由，也是一位極有成就有文學家。他比其兄小兩歲，19歲時兄弟同科及第，榜登進士。王安石變法時，蘇轍力陳“青苗法”行不通，因而也與其兄同被列為反對新黨的“元佑黨人”，一直遭貶。司馬光為相時，舊黨執政，盡廢新法。他性格鯁亮切直，也因不滿司馬光的施政，當麵與司馬光爭辯。也認為不應當廢除新法，因而也一樣為舊黨一派排斥，也遭一貶再貶。由翰林學士、知製誥、禦史中丞，後拜尚書右丞、進門下侍郎；貶降知汝州、才過幾個月，又貶為袁州知州，還未到任，就被降為朝議大夫試少府監分司南京，筠州居住。才三年，貶為化州別駕，雷州安置。
在赴雷州途中與貶儋州的蘇軾在藤州驛站不期而遇，悲喜交集，淚眼相望，不勝感慨。兩兄弟結伴而行，投荒海南，因避台風，停舟上岸，在鶴山石螺崗滯留幾天，故改名為“坡山”。
兩人攜手同行至雷州，寄居天寧古寺。當年寇準也因奸佞進讒，而被流放至此，住的正是天寧寺的西館。倆人覺得古寺幽靜，暫住一夜，夜間蘇轍賦詩一首：
十口南遷粗有歸，一軒臨路閱奔馳。
市人不慣頻回首，坐客相諳便解頤。
慚愧天涯善知識，增添城外小茅茨。
華嚴未讀河沙偈，偃仰明窗手自披。
此詩一吟罷，住持僧人不禁喝彩。他久聞東坡大名，其弟尚且如此，其兄可想而知。於是合掌向蘇東坡施禮，道：“施主能光臨敝院，敝院篷篳生輝。久聞兩位乃中原名士，不求銀兩，但求遺一墨寶足矣！”
“既然師父如此錯愛，在下隻好獻醜了。”蘇東坡一口答應，住持備了文房四寶。蘇東坡把筆蘸飽了墨，鋪平了紙，審度了一下，一揮而就，寫下“萬山第一”四字。蘇轍則寫下一首《勸農》：
我遷海康，實編於民。
少而躬耕，老複其直。
乘流得坎，不問所困。
願以所知，施及斯人。
為消除謫居的悲苦，兄弟倆人常到羅湖遊玩，倘佯於綠水翠荷之間。這裏的花燕還是如期飛歸，依然以荷花為巢……
蘇轍貶謫雷州，朝廷規定不許住官舍。老是住天寧寺也不是辦法，蘇軾說：“當年寇準老丞相，也是天寧寺租過西館住。打擾他官府作甚，不如就近租一座屋子住。”新居賃就，兩兄弟把盞對飲，蘇轍口占一詩：
山連上帝珠明府，心是南宗無盡燈。
過去歌危空比夢，年來瘴毒冷如冰。
圖書一笑寧勞容，音信頻來尚有僧。
梨棗功夫三歲辨，不緣憂患亦何曾。
這詩傳到章惇處，他看了又道聽途說，以為蘇轍強奪了民居以連上帝之府。於是頒令雷州府追究，治蘇轍以重罪。後來查清楚，雷州府將實情報告，章惇還不相信。於是再派人來，向租屋戶調查。租屋戶告訴他：“上次蘇公來，因為章丞相查得緊，幾乎弄得我家破人亡。這回我可不租了，你就是價錢再大，我也不租！”
倆兄弟居雷州，下徐聞，涉足青山綠水，步曆於大街小巷，凡他所到之處都為後人留下難忘印象。他們所租民宅蝸居，所在之古巷，雷州人追為“蘇樓巷”。雷州西湖的湖心亭名為“蘇公亭”。
雷州太守張逢對蘇門學士敬仰已久，聽說蘇氏兄弟南來，十分熱情地接待。並送來酒菜到他們的寓所，以致慰問。
這事被暗中監視的人密告章惇，說是“館留黨人”。張逢也因此獲罪，被牽連在內，遭到彈劾免職。
兄弟兩人在雷州住了月餘，遊遍海康名勝。在登上城東門樓，兄弟唱和，寫了《東樓》：
明從海上湧金盆，直入東樓照病身。
久已無心問南北，時能閉目待儀麟。
颶風不作三農喜，舶客初來百物新。
歸去有時無定在，漫隨俚俗共欣欣。
蘇轍曆經人生風浪，宦途風險，麵對雷州有名的風雷暴雨，他感到暢快，一吐胸中塊壘。為此他寫下《颶作海渾》詩：
颶作海渾，天水溟濛。雲屯九河，雪立三江。
我不出門，寤寐北窗，念彼海康，神馳往從。
對政治上的風浪冷眼相看，兄弟之間息息相通。蘇氏兄弟在海康活動不多，但開啟了當地文風，其高風亮節為當地人民敬仰。在海康的十賢祠中，蘇氏兄弟位列其中。
異鄉的鄉親父老對他們兄弟倆甚為關懷，節日不忘請他共度佳節，“莫起天涯萬裏心”讓他把這裏當作家鄉。此時，兄弟倆遇到一位不速之客，一位白發蒼蒼的老者。一見到蘇氏兄弟就拉著他倆的手，熱淚盈眶，一時竟說不出話來。原來，他就是家鄉四川眉山有七旬老人巢穀，聞蘇氏兄弟被貶嶺南，一直放心不下，竟然不遠萬裏，從眉山徒步數千裏風塵仆仆趕來探望蘇氏兄弟。蘇氏兄弟牽著巢穀的手，悲喜交集，感動得竟一時說不出話來。三人涕淚交加，抱作一團，久久分不開。
他倆兄弟在朝為官時，這位古稀老人沒一點攀附之意，而他倆遭不幸時，遠貶嶺南，士大夫皆絕來往，親友也無音訊。唯一個素昧平生，隻是仰慕他倆才華的巢穀老人卻來到他們身邊，問候他倆。
好景不長，兄弟倆相伴僅僅一個月。這一個月，他們雖然樂乎山水之間，但心頭籠罩著那片陰影，怎麼也揮之不去，蘇東坡赴儋州的期限到了，蘇轍後又被貶至循州（今廣東龍川）。
兄弟相送，直送到徐聞，蘇軾登舟渡海才分手。蘇軾到儋州後，兩兄弟保持詩詞唱和，自得樂趣。蘇轍在《次韻子瞻夜坐》詩寫道：
南海炎涼身已慣，北方毀譽耳誰聞。
遙知掛壁瓢無酒，歸舶還將一酌分。
蘇東坡其時寫下“自雷適廉，宿於興廉村淨行院”一詩：
荒涼海南北，佛舍如雞棲。
忽行榕林中，跨空飛拱檁。
當門洌碧井，洗我兩腳泥。
高堂磨新磚，洞戶分角圭。
倒床便甘寢，鼻息如虹霓。
童仆不肯去，我為半日稽。
晨登一葉舟，醉兀十裏溪。
醒來知何處，歸路老更迷。
後人遂在“清東軒”建亭以誌，曰“東坡亭”。亭為歇山頂二進亭閣式磚木結構建築，現在合浦師範學校內，相傳為蘇東坡自昌化至廉州的居住遺址。
這時，蘇軾要離開雷州，渡海到崖州去。蘇轍送兄至徐聞遞角場。兩兄弟宿於遞角場，同遊海上，蘇軾即吟一首詩：
我少即多難，地迥一生中。
百年不易滿，寸寸彎強弓。
老矣複何言，榮辱今兩空。
泥丸尚一路，所向餘皆窮。
似聞崆峒西，仇池迎此翁。
胡為適南海，複駕垂天雄。
下視九萬裏，浩浩皆積風。
回望古合州，屬此琉璃鍾。
離別何足道，我生豈有終。
渡海十年歸，方鏡照兩童。
還鄉亦何有，暫假壺公龍。
峨眉向我笑，錦水為君容。
天人巧相勝，不獨數子工。
指點昔遊處，蒿萊生故宮。
張逢因為剛剛遭彈劾免職，隻好派人相隨也送到徐聞。徐聞縣令馮太均聞訊也趕到海上相送。在兩伏波廟，兩兄弟向伏波將軍祈求渡海平安，保佑後福。從伏波廟出來，蘇轍從袖中取出一葉詩箋。兄弟相會之樂苦短，即揮手相別。蘇轍苦笑，“隻是上月偕哥哥登海康城東門樓時，小弟拙作。哥哥要渡海南下，昨夜裏抄了。”蘇東坡展開一看，正是子由的《東樓》詩。
渡船要開了，巢穀表示要隨東坡南去。蘇軾考慮到此去驚濤駭浪，風險重重。再說海南環境惡劣，七十高齡的巢穀怎麼吃得消。兩兄弟苦苦勸阻，蘇轍表示讓他留在雷州，可時時打聽著蘇軾的消息，老人家這才作罷。蘇東坡百感交集，寫下《別子由渡海》詩一首安慰弟弟：
離別何足首，我生豈有終，
渡海十年歸，方鏡照兩瞳。
還鄉亦何有，暫假壺公龍，
峨眉向我笑，錦衣為君榮。
天人巧相勝，不獨數子工，
指點舊遊處，蒿萊生幫宮。
5、海南萬古真吾鄉
紹聖四年（1097年）蘇軾到達海南。在澄邁縣通潮驛上岸，宿金粟庵。當地居民飲用城河水很是混濁，蘇軾甚是擔憂，觀察附近，讓村民在荒草野坡鑿二泉。果然咫尺間挖出兩股味色不同泉水，一清一濁。四年後獲赦北歸，再經此泉，郡守請他品泉，蘇軾欣然題名“洞酌”，寫下四言詩《洞酌亭.並序》寓意萬裏投荒，擇善而行。有“自立組海，浩然無私”以勵效清泉。
年逾花甲的蘇軾，貧病交加。顛簸兩月，終於輾轉到了儋州。其環境艱苦出乎想像，“食無肉，病無藥，居無室，出無友，冬無炭，夏無寒泉”且颶風凜烈，雨霧迷漫，毒蛇出沒，瘟疫蔓延（《與程天侔書》）。可蘇軾並不至於荒死，且逐漸適應，安居下來。他有詩句寫道“海南萬古真吾鄉”、“我本儋耳人”、“餘生欲老海南村”。以表達對這片蠻荒之地，以及與當地平民的感情。他為他們做了很多有益的事，使得他的胸懷更豁達、樂觀。當地官員為他安排的“官屋”，破漏不堪。蘇軾唯買地建屋，於是鄰裏紛來幫忙，助以工具。在桄榔林中搭起茅屋三間，蘇軾得以安身。他感激眾鄉人的深情厚意，將茅屋題為“桄榔庵”並寫了《桄榔庵記》以誌。此地籍東坡之名，數間平屋享盡千年“天南名勝”美譽。
蘇軾生活恬淡自持，辟園種植，自足飽飴。看到鄉民“土人頓頓食薯芋，薦以薰鼠燒蝙蝠”，自責過去“十年京國厭肥羜，日日蒸花壓紅玉”，思想感情上更接近民眾。他還學習黎語，著黎裝，以真摯感情對待黎族人民。他還幫助黎民提高農耕技術，教他們種植棉花，采藥治病。他在如此惡劣的境遇中，積極生活，並不頹廢，致力人文。當地有讀書人黎子雲、符林、王霄，潮州的吳子野、瓊山的薑唐佐等士人慕名相從，聚集在他周圍論文講學。對文化落後的儋州真是石破天驚的大事。為方便學術交流，士人們集資建屋。蘇軾取《漢書．楊雄傳》“載酒問字”典故，命名此屋為“載酒堂”。
他更關心教育，讓黎族的孩子都能讀書。當時正值王安石變法，規定開科取士以經義為主。海南偏遠，未能適應，讀書人不知讀什麼書好。蘇軾雖不讚成新法，但還是順應時勢，親手燒煙製墨，籌措紙張，自編經義，深入淺出地授課。雖則他隻收了十幾個學生，但對蠻荒之地的海南，影響甚大。使儋州成為海南的文化教育中心。致使儋州話雜有濃重的四川口音，有別於海南的方言。人稱為“東坡話”。蘇軾熱心研究海南的物產、民俗、風情、瘴疾……寫了大量詩文，開拓了當地的文化教育的文化視野，啟迪民智，移風易俗。這時期300多篇詩文被輯錄為《居儋集》或名《海外集》。