張煌言集中部下將士，率船隊溯江再上，計劃入鄱陽湖，開辟江西抗清根據地；結果，由於船隊在黑夜中驚散，隻得改變計劃，鑿沉僅留的船舶，進入大別山區，作持久抗清的打算。清軍大隊人馬尾追而至，義軍將士們被包圍在山嶺上。張煌言挺槍大呼，奮勇闖入敵群，連刺帶挑，殺傷精兵數十人，終於衝開一條血路，突出了重圍。這時，他身邊隻有一個攜印的少年戰士了。
張煌言請當地老鄉作向導，繞道皖南、浙西，向浙東根據地走去。崎嶇的山路磨得他腳趾出血，腳後跟開裂；途中他又患了瘧疾，骨瘦如柴，抱病趕路，汗如雨下。經過2000餘裏的艱難跋涉，張煌言終於回到浙東。“江東父老見，一一問重圍。”人們雖說惋惜張煌言功敗垂成，但也慶幸他能活著回來。
為了重整旗鼓，張煌言顧不得身體的疲勞和衰弱，立即著手組織新的義軍隊伍。然而，這時的抗清局勢，已經有很大的變化：鄭成功渡海收複台灣去了；南明永曆政權在吳三桂率領的清軍追擊下，遭到了覆滅；農民起義軍出身的抗清英雄李定國，壯誌未酬，抱恨終天。張煌言成了最後一麵抗清旗幟。
處於勢孤力單境地的張煌言，並沒有喪失鬥爭的信心。他曾策動清朝的台州守將反正，隻因行動前走漏了風聲，未能成功。當清朝的浙江提督趙廷臣寫信勸他投降時，他堅決地回答：“你是清朝的大官，我是明代的孤臣，地位不同，誌向各異。我早把功名富貴看得像浮雲，勝負成敗盡努力而已。”信末還附了兩首詩：“贏得孤臣同碩果，也留正氣在乾坤。”
這樣，清朝統治者就把張煌言看作了眼中釘。1664年3月，調集重兵，圍襲張煌言，雙方在東海中展開激戰。由於兵力懸殊，張煌言部下死傷很多，他隻得將殘部撤出，退駐舟山一個小島上。不久，他為了避免無謂犧牲，保存力量，把殘部將士化整為零，到民間掩護起來，自己隻帶少數人，隱居在浙東南田島西麵的一個名叫懸嶴的小海島上，等待機會東山再起。
張煌言不死，清朝統治者心不安。清朝政府懸賞通緝張煌言，並收買了張煌言的一個舊部下，趁黑夜從懸嶴島的背後偷襲。張煌言發覺有異，起身撥劍，不料寶劍被帳子裹住，清軍蜂擁而上，把他擒住了。
清軍把張煌言押到寧波。寧波人民得到這一消息，紛紛聚集在城外大道的兩旁，都想能最後一次看看這位英雄。隻見他，神色鎮靜，態度從容，頭戴明朝文人常戴的方巾，身穿深色葛布長衫。將近20年，人們在衣冠裝束上，最感到痛心刺目的，是腦殼後麵拖一條辮子，今天忽然見到一位明朝衣冠裝束，百折不回的抗戰英雄，無不潸然淚下。
到了提督府門前，押解的差官按照犯人不走正門的慣例，要張煌言從邊門進去。張煌言屹立不動。清朝的浙江提督妄圖勸解，忙將他從正門請進，並叫人擺開了酒席。張煌言昂首拒絕說：“父死不能葬，國亡不能救，死有餘辜。今日之事，速死而已！”說罷轉過身子，不說話，也不吃一點東西。
這天夜裏，他被關押在一所民房中，難以入眠，回憶起19年來轉戰於江海之間，出生入死，披肝瀝膽，雖說屢挫屢起，曆盡艱辛，總還維持著東南一隅的抗清局麵。誰知終於國亡家破，自己也成了囚人。想到這裏，他想起了持節匈奴19年的蘇武，就決心準備為國犧牲，死得其所了！
過了10多天，張煌言被押解到杭州去。寧波父老聞訊，不管警戒的清軍如何虎視鷹瞵，還是有好幾千人趕往碼頭送行。張煌言出城門後，朝北四拜，表示向故國辭別，說：“臣的誌向完畢了！”又朝城門四拜，表示向故鄉辭別，說：“怪我無能，叫故鄉父老白白苦了20年，辜負了大家的期望。”然後，他向送行的父老鄉親拱拱手，感謝他們的盛情，便上了船。此情此景，使在場的幾千百姓，都失聲痛哭起來。
張煌言被押送到了杭州。那個先前勸降張煌言碰過壁的浙江提督趙廷臣，再一次誘他投降，還保證清廷能起用為兵部尚書，結果又被張煌言嚴辭拒絕了。
清朝統治者不敢把他解送北京，恐途中不測，也不敢把他再關押下去，決定將他在杭州處死。
臨刑時，劊子手按處決的慣例，要他跪下。張煌言堅決不肯下跪，昂首挺立，壯烈就義。