但是，這才是戰鬥真正的開始。國民黨舟山群島防衛司令官石覺急令67軍軍長劉廉一派75師224團增援登步（當時駐紮在登步島的國民黨軍隊是第87軍211師，師長吳淵明）。4日6時30分，國民黨75師224團與67師202團在飛機的掩護下，由沈家門乘軍艦援助登步島。國民黨海軍總司令桂永清親自督陣，“太和”、“永泰”、“海澄”等多艘艦艇在桃花島、登步島附近海域穿梭，阻斷解放軍從桃花島增兵。7時，國民黨75師224團在87軍軍長朱致一的親率下抵達登步。國民黨海陸空相配合的強勢反擊，使得形勢變得有利於國民黨。9時，漲網灣被敵所占；12時，炮台山被敵攻陷；14時，國民黨援兵67軍67師（師長何世統）200團、201團登岸，而後流水岩陷於敵手。21時，解放軍61師師長胡煒親率183團3營、2營一個連，182團1營和2營5、6連及師預備隊官兵至登步島。雙方反複爭奪炮台山、流水岩製高點，戰鬥激烈，留下了“炮打炮台山、血流流水岩”的悲壯詩句。
6日1時30分，國民黨67軍67師199團抵達登步。胡煒師長迅速召集團以上幹部開會，做出了主動撤退的決定。6日3時，當國民黨發起全線追擊時，解放軍已經攜傷員、俘虜順利撤回了桃花島。
成功撤退，戰爭史上的孤例
登步島戰役，是以解放軍的主動撤退而結束的，國民黨把它當做勝戰來宣傳，說“北有登步，南有金門”，阻止了解放軍解放台灣的計劃。而在內部，因為它並沒有完成戰鬥任務，並且損失嚴重，很多人認為是舟山戰役中一次重大失利，因而少有人談及它。但後來的研究發現，古往今來對海島登陸作戰的戰鬥中，要麼成功，要麼全軍覆沒，像登步島戰役這樣，登陸了，戰而不利又成功撤退的，確屬孤例，因而極具軍事研究價值。
當時直接指揮這場戰鬥的是61師師長胡煒，他有“軍政全優”的美稱，年僅28歲就當上了師長。當時敵強我弱，胡煒師長召開部分團以上幹部開會，提出主動撤退，問大家可不可行。當時很多人不理解，對於海島登陸作戰，要麼贏，要麼死，怎麼會有撤退一說，且在國民黨有海空優勢的情況下，渡海撤退風險極大。可胡煒師長認為，敵人肯定也認為解放軍不會自尋死路，要出其不意，置之死地而後生。隻要組織得當，撤退是可以成功的。
為了成功撤退，胡煒師長采取了佯攻來掩護。當時的9連連長夏少卿，帶領7、8、9連和機炮連收集起來的人員組成了七個小分隊，每個小分隊5－7人。
在入夜後，摸到敵人火力點下，突然開火，吹響衝鋒號，打得敵人暈頭轉向，以為解放軍援軍已到，摸不清解放軍的真實意圖。直到午夜，營部通信員來通知他們撤退。在撤退中，師長胡煒、副參謀長王超親自在渡口指揮，讓傷員先行，繼而俘虜、武器、士兵，幹部一律殿後。這一舉措另戰士們十分感動，也安定了軍心。
就是胡煒師長這樣一個明智的決定，保住了有生力量，也使得登步沒有變成第二個金門。
緬懷先烈，共碧海青山長存