慌慌張張過了一天，日軍增援部隊源源不斷而來，黑田長政和蜂須賀家政最先到達蔚山地區。黑田長政很快擊潰島山城東山的明軍，占領這一高地，並派人潛入島山城內，與加藤清正取得聯係。
小西行長率部二千人和四國兵二萬餘人，也陸續從順天出發，奔向島山。宇喜多秀家、毛利秀元率釜山守軍二萬人，進到離島山大約一裏的地區，在山頭上安營紮寨。
毛利秀元說：“敵軍眾多，我軍當分路進擊。黑田長政、加藤嘉明進攻山下的敵人，蜂須賀家政和我直衝敵軍帥營，豐臣正成和鬆浦鎮信為遊軍，趁敵人驚擾時自東方襲擊他們。”
黑田長政、小早川秀秋、立花宗茂卻不同意毛利秀元分兵合擊的計劃，主張趁明軍不備，半夜派人襲擊，天亮後全軍發動攻擊，必能大破明軍。
午夜時分，立花宗茂到達般丹，將所部八百人分為三隊，自率三百人襲擊明軍，明軍稍退。
日本人好像泉水般從地下冒出，頃刻之間布滿了整個蔚山地區。有的突破明軍的包圍圈，進到島山堡壘之下；有的出現在箭灘的南山上，殺聲四起，另有五六十人摸下山。明軍見敵人勢眾，不敢緊逼。
李如梅、解生率左路軍向箭灘的日本人猛攻一陣，殺死日軍六百九十餘人。盡管頗有斬獲，但是未能打退敵援。
真是危急存亡，日軍內外夾擊，如果攻不下島山城，明軍很快就會成為三明治夾心。楊鎬決定做最後一搏，在敵援合圍之前拿下島山。
楊鎬和麻貴親自督戰，拿出渾身解數，又是斬殺退卻的士卒，又是把膽怯的遊擊李化龍五花大綁，在陣前巡回。明軍上下勉強抖擻精神，挺起手中的武器，在幾個巨大火把的光亮之下，開始四麵攻城。
但明軍已成強弩之末。惡劣的天氣、亟待恢複的虛弱體力、一落千丈的士氣，讓楊鎬的最後努力化為泡影。
加藤清正把能用的都用上，泥塊、石頭、木頭，甚至屍體，猶如陣陣狂風驟雨，壓得明軍喘不過氣來。天亮之後，城中的炮火更加熾烈，明軍死傷累累，留下五百具屍體，匆匆撤退。
楊鎬臉上露出苦澀的慘容，大勢已去矣！
正月初四，這一天對楊鎬，甚至所有參與島山戰役的明軍來說，都是一個恥辱與慘痛的日子。因為這一天，他們製造了一場驚心動魄的大撤退。
黎明時分，藍江的黑田長政派出毛屋主水迎擊明軍。毛屋主水卻跑回來說：“我望見敵人營房上空的炊煙漸漸稀薄，好像敵軍已經斷糧。敵軍陣中一片混亂，隊伍無序，士卒紛擾不已。他們不是來接戰的，而是準備逃跑。”黑田長政走出看了一下，果然如此。
黑田長政對部將說：“敵人準備撤退。等他們撤退之後再去追擊，這不是英雄所為。我們應當趁敵人尚未撤退即發動攻擊。”
天氣酷寒，河水成冰。但黑田長政腳下的河水不斷被海水衝刷，沒有結冰。黑田長政率先騎馬跳進冰冷的河水，部屬於嚴寒亂流中競渡，與明軍接戰。小早川秀秋、毛利秀元又緊隨其後，藤堂高吉將明軍陣勢打亂，後續的日本人叫喊著衝殺過去。
辰時，楊鎬和麻貴下令停止攻城，商議撤軍，退到慶州。
這時，右路明軍繳獲了援軍寫給加藤清正的一封信，上麵說加德、安骨、竹島、釜山、梁山等地的十一位日軍將領率六萬大軍殺到，讓島山守軍再頂一陣子。
藍江的援軍船隻九十多艘擁入太和江上流，陸路的日本援軍也試圖從明軍背後繞出。明軍即將腹背受敵，四麵被圍。
楊鎬徹底慌了手腳，先問李德馨：“島山城險要難破，倭賊援兵又聲勢浩大，可怎麼辦？”
李德馨答：“捉魔不可鬆手，一次逃了，二次難碰頭！加藤清正被圍在島山孤城，這是天意，如果輕易放棄，恐怕今後再無這樣的滅敵良機。大人可分兵一萬，專防箭灘、彥陽之路，作好迎擊準備。這兩處地形甚好，可以一戰。”
楊鎬說：“累日攻城，我軍損傷頗多。今日不得不暫時解圍而去，以圖後舉。”
李德馨內心不服，高聲抗議，言辭激烈。
戰場上的較量是意誌的較量。那些所謂的英雄並非比對手更勇敢，而是比對手更能堅持。誰笑到最後，誰就是勝利者。
楊鎬決定撤退。打了這麼久，倒下這麼多士兵之後，楊鎬在精神上先崩潰了。