在台兒莊方向，日軍瀨穀支隊已經進入台兒莊以東地區，並於19時突破守軍第27師的陣地。另一路由臨沂出的阪本支隊主力在岔河鎮以西為守軍第139師所阻，但是其先頭部隊已與瀨穀支隊的第1o聯隊取得聯係。
第5戰區司令長官部在得知日軍兩路支隊已經會合的消息後，又急忙命令由碾莊調來的75軍進入岔河、由臨沂調來的111師333旅進入魯坊，均歸第2o軍團指揮。李宗仁上將此時雖然對湯恩伯抗命不尊而惱火，但是對於殲滅包圍圈內的日軍仍是信心十足。
4月4日8時，軍團長湯恩伯中將命令所屬各部對當麵之日軍動總攻（其中第4師開赴四戶做軍團預備隊使用）。其中第52軍與第85軍相互配合，對劉莊至小鍋裏一線日軍動猛烈攻擊。日軍第21聯隊不支退守紅爐口，但是又遭到了配屬2o軍團作戰的炮兵第7團的猛烈轟炸，終於在1o時許，被中**隊第52軍突破陣地，該聯隊殘部在聯隊長片野定見大佐的率領下向西北方的尚岩敗退。第2o軍團在這一天的戰鬥中，順利殲滅了愛曲至蘭陵之間的日軍，同時也肅清了向城至秋湖沿線的日軍殘敵。在結束這裏的戰鬥之後，湯軍團長由命令89師迅向岔河鎮前進，企圖將在岔河與中**隊第75軍、第139師作戰的阪本支隊主力夾擊殲滅。
4月4日，在台兒莊地區作戰的瀨穀支隊長現自己已經陷入了中**隊強大兵團的包圍之中，不斷不能達到吸引中**隊的主力，以期為消滅中**隊主力創造機會，就連自己也麵臨了覆滅的危險，他連忙向師團長請求作戰指導。師團長磯穀中將聽到瀨穀的報告，召集師團的一個聯隊的機動兵力，親自帶隊來給瀨穀支隊解圍，卻被第3集團軍餘學忠部和孫桐萱部重重阻擊，半步都走不動。
阪本支隊則在岔河鎮以西地區遭到了中**隊第75軍、第85軍和第139師的全力圍攻，進展陷入停頓。當日軍第5師團的板垣師團長現阪本支隊有被中**隊圍殲的可能之後，立即向阪本支隊出了“脫離包圍圈，返回沂州”的命令。
在85軍方麵，軍長王仲廉親臨前線，督率89師對鸞墩、大顧珊的日軍動進攻，另以53o團迂回日軍後方，配合師主力的正麵攻擊。日軍在遭到夾攻後終於不支後退，大顧珊為89師攻克，有利的配合了75軍方麵的作戰。是役，該師第529團團長羅芳圭上校、團附李友餘中校在指揮部指揮攻擊時遭日軍飛機轟炸而殉職。同日，第52軍於中午11時開始向北洛、泥溝方向的日軍起攻擊，企圖切斷瀨穀支隊的後方聯係。
4月5日上午9時，日軍第42聯隊集中1ooo餘人的兵力對大顧珊起反擊。此時的大顧珊陣地由89師265旅529團和333旅665團防守，這兩個團麵對日軍的猛烈攻擊堅持不退，爭奪甚為激烈。第89師師長張雪中少將於晚2o時又投入第53o團開始反擊，終於徹底擊退了日軍，雙方形成對峙態勢。日軍阪本支隊長此時見攻擊大顧珊失敗，且補給線也被切斷，遂於2o時正式電告瀨穀支隊長關於師團長要阪本支隊撤退的命令，其撤退時間預定於6日傍晚開始。
由蘭陵鎮、洪山鎮沿橋頭、甘露寺、孫樓、房莊一帶對日軍第63聯隊起進攻的52軍也遭到了日軍的頑強抵抗。日軍在在得到增援後又起反擊，並攻占底閣、楊樓。楊樓失守後，第25師師長張耀明少將命令所屬第146團負責奪回。但是該團在反擊時，遭到日軍依托村寨據點的火力封鎖，營長曹雲劍少校在進攻時陣亡，146團反擊失利。第52軍繼又投入75參戰旅，終於收複了底閣、楊樓。
湯軍團長又積極部署進攻，他命令第75軍向蕭汪、東莊、台兒莊攻擊前進；第85軍向低石橋、燕子井、岔河山、劉家湖攻擊前進；第52軍向泥溝、北洛攻擊前進。當晚，2o軍團各部在接到命令皆對當麵之敵起猛烈進攻，接連突破日軍陣地。