景炎三年（1278年），元軍派出水軍，從水路追擊宋端宗小朝廷。宋端宗從潮州一直逃到□洲（今廣東吳川縣南海中）。當時，張世傑等打算往占城（在越南南部），以作為長久之計。宰相陳宜中主動請求先去占城聯係相關事宜，結果卻乘機逃走，一去不回，後來死在暹羅國（今泰國）。
宋端宗時年十一歲，還是個孩子，一路擔驚受怕的逃亡生活，給他帶來了超越年齡的壓力。不久，颶風襲擊，雨驟濤狂，桅斷船翻，士兵溺死過半。宋端宗及諸臣的座船雖然得以幸免，但也險象叢生。由於受到驚嚇，宋端宗驚恐得病而死。
宋端宗一死，群龍無首，許多大臣灰心喪氣，打算就此散去。眼看小朝廷就要分崩離析，陸秀夫挺身而出，大聲說：“如果大家都走了，度宗皇帝還有一子尚在，將如何處置！古人有靠一城一旅複興的，而我們現在百官有司都在，有上萬將士，隻要老天不絕趙氏，怎麼不能重新立國呢！”在陸秀夫的勉勵下，眾臣又擁立七歲的衛王趙□作皇帝，由楊太妃垂簾聽政，陸秀夫、張世傑協力輔佐。
張世傑認為□洲不可久留，他提到在新會縣南八十裏的海中，有一座□山，與奇石山相對，勢如兩扉，周圍潮汐湍急，舟行艱難，是一處地勢險要的天然堡壘，可扼以自守。於是，這年六月，宋帝趙□的小朝廷遷到□山。張世傑派人入山伐木，造行宮及軍屋千餘間，當時尚有官、民、兵二十餘萬，多居住在船中，資糧則從廣東沿海州郡征集。
此時，元將張弘範正回大都向忽必烈述職，在奏疏中言稱：“張世傑複立衛王為帝，閩、廣百姓奮起響應，倘若不及時剿滅，勢必釀成大患。”忽必烈深以為然，當即委任張弘範為都元帥，並賜上方劍，令其全力進剿。於是張弘範推薦李恒為副將，率領水軍和騎兵大舉南下，準備消滅最後的殘餘宋軍，文天祥則首當其衝。
當時，文天祥聽說宋帝趙□即位，立即上表自劾兵敗江西之罪，請求入朝，但未被允許，隻加封文天祥為少保、信國公。文天祥隻得與部將鄒渢、劉子俊、杜滸等在潮陽集結。有個土匪陳懿，跟文天祥有仇，便主動充當元軍的向導，引領張弘範軍到潮陽。文天祥兵少，無力與元軍爭鋒，便率軍退出潮陽，轉到海豐五坡嶺一帶。張弘範派軍緊追不舍，元軍先鋒張弘正追到時，文天祥與部將鄒渢、劉子俊、杜滸等人正在吃飯，倉促之間來不及應戰，便被俘虜。鄒渢自殺。文天祥吞腦子（藥名，多吃能致死）自殺，卻沒有死。劉子俊自稱是文天祥，與文天祥爭著承認。元兵判斷出真偽後，將劉子俊放在鍋裏煮死。杜滸憂憤不食，不久也死去。文天祥則被押到潮陽見張弘範。左右喝令他下跪，文天祥始終不屈。張弘範很仰慕文天祥的人品，親自為其解開繩縛，以賓客之禮相待。文天祥堅決求死，張弘範不許，將他押在船中。
祥興二年（1279年）正月，張弘範得知宋軍主力在□山（今廣東新會東南，當時為海島），於是發水軍大舉進攻。決戰前，張弘範要文天祥寫信給張世傑勸降，文天祥說：“我不能保護父母，難道還能教別人背叛父母嗎？”張弘範不聽，一再強迫文天祥寫信。文天祥於是將自己前些日子所寫的《過零丁洋》一詩抄錄給張弘範。詩的最後兩句是“人生自古誰無死，留取丹心照汗青。”張弘範見文天祥忠貞不屈，隻好不再強迫。文天祥後被送往大都囚禁達三年之久，屢經威逼利誘，仍誓死不屈。元至元十九年（1283年）十二月，在大都柴市就義。
張弘範又發現元軍中有個姓韓的軍官是張世傑的外甥，於是連續三次派他去招降，張世傑不為所動，說：“我知道投降就有富貴，但義不可移！”張弘範又派人到□山對士民們說：“你們陳丞相（陳宜中）已逃走，文丞相被俘虜，你們還要想怎樣呢？“但士民中也沒有背叛的。勸降不成，一場大戰不可避免。
其實，此時元軍隻有數萬人，且不習水戰，而南宋小朝廷有軍民二十萬人，尚可背水一戰。有人向張世傑提出：“海口之地，至關重要，倘若元軍以水師扼守海口，則宋軍不能進退。不如派兵防守，若能僥幸取勝，即是國家的福氣；不勝，還可撤走。”但張世傑擔心大軍調動會導致士卒離散，軍心浮動，再也無力抗戰，回答道：“我軍連年疲於海上奔命，何時方休？莫如趁此時機與元軍一決勝負。”主動放棄對□門入海口的控製，而是將千餘艘戰船依山麵海，用粗大繩纜連結成一字長蛇陣，聯舟為壘，四麵高築樓柵，結成水寨方陣，宛如城堞。又將行宮焚掉，趙□也遷到海上，禦船居於方陣之中，打算就此死守。
張世傑此舉有兩大失誤，一是放棄了對入海口的控製權，相當於把主動權交給了對方；二是把千餘戰船用大索結成水寨，喪失了機動性。據說當文天祥被押到□山後，一見宋軍如此結陣，不禁扼腕歎息，知道宋軍無得力的將才，失敗將不可避免。不久，張弘範果然派水師占領海口，斷絕了宋軍運輸淡水的生命線。
最初，張弘範打算從□山北麵進攻。然而，北麵水淺，大船行駛極易觸礁，於是張弘範又將水師調回南麵深水處，與張世傑的水軍接戰。當張弘範發現張世傑將宋軍戰船集結在一起時，便想重演火燒赤壁一幕，用火攻攻破宋軍的戰船堡壘。他派出數艘輕舟，船上滿載膏油柴草，試圖乘風縱火，火燒連營，一舉取勝。然而張世傑早已經防範此招，不但事先在艦船上塗上厚厚的濕泥，並在船側安裝長木，阻止元軍火船靠近。
張弘範火攻失敗後，隻好增派軍隊圍困海口。宋軍沒有淡水，吃了十多天幹糧，渴得不得了隻好喝海水，嘔吐不止，士卒疲乏無力，戰鬥力銳減。正月底，元軍大批戰船陸續到達。元將李恒也從廣州領兵趕到。張弘範令其控製□山北部海麵，準備南北夾攻。
二月初六清晨，黑雲密布，風雨交加，張弘範不顧天氣惡劣，決定發起總攻，說：“宋軍艦船停泊在□山西麵，漲潮之後必然向東漂移，我軍要趁此有利天時發起猛攻。”派副將李恒從北麵進攻宋軍，自己親率一軍，從南麵進攻，並約定以帥船鼓樂為號。元軍開始進攻後，張世傑率部英勇抗擊。宋元雙方都知道這是最後的關鍵決戰，因此戰鬥異常激烈。雙方均是短兵相接，展開肉搏，勝負難分。
此時，元將李恒指揮水軍利用早晨退潮、海水南流的時機，渡過了平時戰艦難以渡過的北部淺水，向宋軍發動了一場突襲。北麵宋軍沒有防備，倉促應戰。到中午時分，北麵的宋軍已經完全潰敗。而到了中午，海水開始漲潮、海水北流，宋軍艦船果然開始東移。張弘範見時機已到，便令帥船大奏鼓樂。張世傑不知這是元軍再次發動攻勢的信號，誤以為是敵船官兵在戰鬥間隙飲酒作樂，未加戒備。突然間，南北兩路元軍大舉殺到，宋軍腹背受敵，倉促應戰。士兵又身心疲憊，無力戰鬥，頓時全線潰敗。宋軍將領翟國秀、淩震等解甲降元，張世傑、蘇劉義從黎明堅持到黃昏，見大勢已去，自知無望，隻得下令斬斷船索，率十六隻戰船擁楊太妃突圍而去。