深受武士道精神熏陶的日軍，也不得不被我軍官兵表現出的決死精神所折服。日軍步兵第10師團於4月2日所做的《戰鬥評報》抄錄了如下一段：“研究敵27師第80旅自昨日以來之戰鬥精神，其奮勇死戰的氣概，不愧是受到蔣介石的極大信任。全部守軍憑借散兵壕頑強抵抗直至最後。敵在狹窄的散兵壕內，屍體相枕力戰而死的情景，雖為敵人，示須為之感慨。曾令翻譯勸其投降，絕無應者。屍山血河，並非皇軍所特有。不識他人，滿足於自我陶醉，為皇軍，極應以此為戒。”
第27師將士的英勇搏鬥，使日軍主力對台兒莊東側的強攻沒有收到預期的效果。但國民黨軍隊由於損失過大，也不得不將戰線縮短，以便集中優勢兵力抗擊強敵。
3日拂曉，日軍先集中炮火向中國軍隊陣地轟擊，破壞中國軍隊的防禦設施，接著以步騎兵2000餘人、戰車30餘輛，全力向我陣地進攻。中國守軍強韌抵抗，戰況異常激烈，到處彌漫著硝煙和血腥味道。守軍第27師陣地被敵突破，台兒莊城內的日軍趁勢向各處守軍陣地發動進攻。開始由於守軍減員嚴重，又得不到新的補充，陣地逐漸減小，後經過巷戰炮火的考驗，中國守軍官兵也逐漸打得順手起來。台兒莊的士兵們從實踐中總結出經驗：“飛機不如火炮可怕，炮不如機槍可怕，機槍不如手榴彈，手榴彈不如我們的大刀。”
日軍雖然凶頑，但苦戰多日，已是強弓之末。特別是的20軍團從東至西的進攻態度，給版本支隊和瀬穀支隊以巨大壓力，分散了他們的兵力，從而減輕了我第2集團軍正麵壓力。
鑒於中國軍隊形式日趨有利，蔣介石決心抓住戰機，打個漂亮仗，促成勝利，以鼓舞民心和更大的激勵軍隊的士氣，為此命第一戰區司令長官程潛赴徐州協助李宗仁督戰。程潛於4月5日抵徐州，並限令各部隊於8日之前將台兒莊之敵“捕捉殲滅”，“樹立首功者賞洋10萬元，否則師長以上定予懲罰。”
5日日軍版本支隊對中國咄咄逼近之師全力反擊，做垂死掙紮，導致中國軍隊剛剛收複的蔡莊、潭莊、大顧珊又陷入敵手。後經過激戰，除因大顧珊日軍挾火力猛烈頑抗，反攻未能成功外，都已奪回。第52軍的攻勢迅猛，進展順利，戰鬥激烈，敵我傷亡均重，中國軍隊所繳獲亦多。
第20軍團的猛烈進攻，給日軍以強大壓力，日軍已不堪負重，加上第52軍對日軍側背的包抄，使日軍處於被圍殲的境地，進退兩難。至此，凶頑的日軍以呈動搖、退卻之勢。
6日李宗仁趕赴台兒莊前線，指揮個參戰部隊向日軍發動全線反擊。湯軍團執行外線包圍，孫集團軍負責正麵清掃。中國軍隊一重炮摧毀日軍火藥庫，占領西北門、東門。10時左右，莊內殘敵被全部肅清。