但是，跟他做對的卻是破虜軍中以防守而出了名的張元。當年張元隻帶著幾百個士兵，就能把王積翁的數萬大軍擋在建陽關外，半個多月無法前進一步。如今他指揮著許夫人麾下的四萬多佘、漢聯軍，豈能給李恒得了手。
雖然許夫人的興宋軍戰鬥力和裝備情況與破虜軍無法同日而語，但在張萬安（張狗蛋）和他的教導隊訓練下，興宋軍的凝聚力和軍紀得到了大大提高。
況且佘人是生的山地戰高手。興宋軍隔著羅浮山、蓮花山，死守惠州和潮州兩地，無論李恒采用任何策略，就是不肯出擊。
李恒攻不入潮、惠兩州，清理不幹淨後路，不敢帶兵進入福建。
有一日他聽從降將建議，試圖從水路運兵到惠東。船隊剛出伶仃洋，就與杜滸的艦隊遭遇。
張弘範在數月前，曾經叮囑李恒，不要下海。李恒並未將其忠告放在心上。看見杜滸隻帶了二十幾艘戰艦，並且分明是從舊艦改裝過的，並非傳中的巨艦。心生輕視，命令艦隊直接圍攏過來。
這下正好滿足了杜滸的心願。他帶著艦隊且戰且退，一直與李恒艦隊保持著二裏左右船距。李恒從崖山繳獲而來的舊式戰艦采用的是木帆、橫舵，除了結實程度和穩定性較好外，轉彎和加都遠不如杜滸手中裝了布帆和輪舵的改進型，隻能遠遠地跟在杜滸身後挨打。一個白，被擊沉戰艦十六艘，擊傷二十餘艘。
李恒氣得暴跳如雷，下令返航，半途中偏偏又遇到了苗春所帶的五艘新式大艦前來找麻煩。苗春趁夜一陣亂殺，把李恒的艦隊衝了個七零八落，直到明檢點損失，居然又有二十幾艘船不見蹤影。
李恒氣急敗壞，斬殺了給他出主意的新附軍將領出氣。這種瘋狂舉動引起了很多人的氣憤，漢軍，新附軍，還有被翟亮、陳寶、孫安浦協裹而投降的地方豪強所部紛紛鼓噪欲散，費了李恒好長時間才鎮壓下去。
隨後，李恒就聽了張弘正、呂師夔再度兵敗的消息。正在他心中幸災樂禍的時候，有信使匆匆來報告，一支打著破虜軍旗號的人馬攻擊南恩州。李恒大怒，揮師急援，6地上作戰，他可沒怕過誰。當他帶著部隊翻山越嶺趕到南恩州城外時，剛好看到破虜軍撤退的一幕。
無數百姓、還有新附軍背著從府庫分來的財物，跳上了停靠在岸邊的烏延船。那些漁船立刻起錨，載著大夥向海上散去。
茫茫大海上，杜滸的艦隊不慌不忙拉下炮門，對著空無一人的南恩州放了一排炮。臨近海麵的房屋當即化作了一堆瓦礫。
李恒沒有火炮，當然不敢讓屬下去送死。滿腔怒火無處泄，率部到附近劫掠了一番，殺了幾千百姓冒功。撤軍途中，又接到信使報告，杜滸襲擊了台山，兩個鹽場的食鹽和銀兩被一卷而空。緊跟著，新州、高州、化州，投降了北元的各地海岸接連遭到了破虜軍水師的襲擊，李恒不去救援，破虜軍就攻城、開府庫放糧、斬殺為北元效命的官吏。李恒派兵去救，人少了會被杜滸一口吃掉，人多了則破虜軍又從海上遠走。
一時間，廣南東、西兩路治安大壞。許多被張弘範打散，藏入深山的江淮軍殘部也紛紛殺出，與杜滸、苗春二人遙相呼應。跟著翟亮、陳寶、孫安浦等人投降北元的地方豪強們安全得不到保障，又屢屢被李恒部下勒索，怨氣衝。一些跑出來給大元當官的士人，也紛紛掛印而走。李恒有力無處使，有氣無處散，行為愈放任。廣州城的豪門大戶讓他探訪了個遍，專門找新婚未久的人家去“拜訪”。
廣南各州的大戶人家們苦不堪言，迅忘記了張世傑為了在崖山重修行宮，強行抓夫派稅等劣跡，懷念起大宋的好處來。特別聽有心人福建新政的種種愛民之處後，更是整日盼星星盼月亮般等著文祥派人來解救大夥脫離苦海。