4月3日，第五戰區司令長官李宗仁將軍下達總攻命令，第52軍、第85軍、第75軍在台兒莊附近對日軍展開猛烈攻勢。日軍拚力爭奪，占領大部分街市。國軍展開街壘戰，逐次反擊，肅清敵人，奪回被日軍占領的街市。
4日，中國空軍以27架飛機對台兒莊東北、西北日軍陣地進行轟炸。當晚，日軍瀨穀支隊力戰不支，炸掉不易搬動的物資，向嶧縣潰逃。
4月6日，李宗仁趕赴台兒莊戰場，親自指揮部隊進行全線反擊。4月7日淩晨1時，我軍吹響了反攻的號角，以孫連仲之第2集團軍為主的左翼兵團和以湯恩伯、封裔忠第20軍團為主的右翼兵團在台兒莊及其附近地區大舉反攻。一直處於防守狀態的士兵一聽說反擊，神情振奮，命令一下，殺聲震天。雙方展開了巷戰、肉搏戰。一時間，台兒莊內槍林彈雨，血流成河。日軍頭一次遭到了國民黨軍隊的如此頑強進攻，很快便潰不成軍。台兒莊北麵，槍炮聲漸密，湯恩伯軍團已向敵人開火。磯穀知已陷入反包圍圈，開始動搖，下令部隊全線撤退。此時日軍已成強弩之末，彈藥汽油也用完，機動車輛多被擊毀，全軍喪魂落魄，狼狽逃竄。李宗仁命令部隊全麵追擊，敵兵遺屍遍野，各種輜重到處皆是，磯穀本人率殘部拚命突圍。
七日時，日軍殘部往嶧城、棗莊潰逃。至此，台兒莊戰役結束。