台兒莊位於徐州東北30裏的大運河北岸、臨城至趙暾的鐵路支路線上，北連津浦路，南接隴海線，戰略地位十分重要。日軍如攻下台兒莊，即可南下趙暾沿鐵路西進攻取徐州，又可北上策應阪坦師團，斷張自忠、龐炳勳各軍的後路。
3月21日，藤縣失守，並沿台棗支線向台兒莊陣地突進。
為確保台兒莊，第五戰區製定了相應的作戰計劃：以孫連仲的第2集團軍的三個師（黃礁鬆的第27師、張金照的第30師和池峰城的31師）沿運河布防，扼守台兒莊正麵陣地。以湯恩伯的20軍團的兩個軍（關麟征的52軍和王仲廉的81軍）讓開津浦路正麵，誘敵深入，待日軍主力直撲台兒莊企圖一舉奪取徐州時，湯軍團即南下，直擊日軍後背，協同孫連仲集團軍將敵包圍而剿滅。
這次會戰的中央防線的正麵據點是台兒莊，其左翼從肥城、大汶口、袞州至兩下店、界河；右翼從臨……至向城，除台兒莊之外，重要據點還有棗莊、澤縣、韓莊、蘭陵、洪山等，戰線全長約100公裏。
3月23日，台兒莊會戰開始了。日軍磯穀師團從澤縣沿台棗支線進犯台兒莊，遭到孫連仲集團軍第31師與27師的猛烈反擊，損失過半，殘敵數百人退至台兒莊以北20裏的北洛固守，等待援軍的到來。從24日至28日，孫集團軍在台兒莊外圍各村落與日軍展開了堅韌的拉鋸戰。敵人每天發射炮彈少則一二千發，多則六七千發，攻打各個村寨，甚至將有的村寨轟平。
27日，日軍攻破台兒莊北門，與第31師在莊內展開拉鋸戰。第31師在池峰城師長的指揮下，頑固抵抗，個個鬥誌昂揚，殺敵報國。一麵以強力炮火壓製敵人，一麵派選數十名敢死隊員，身著日軍服裝，冒死衝入陣地，與日軍肉搏格鬥，打退日軍多次進攻，自身消耗也很大，雙方進入膠著狀態。
戰況緊急，迫切要求中國軍隊作出相應對策。第五戰區於27日命令湯恩伯第20軍團“即放棄澤縣、棗莊之攻擊計劃，以一部監視當麵之敵，主力向南轉進，先殲滅台兒莊之敵”。29日，有命令關麟征部佯攻澤縣，以牽製該敵南下，王仲廉部迅速向泥溝、北洛前進，並以一部向南洛協助第2集團軍解決台兒莊附近之敵。
與此同時，台兒莊陣地左翼，從3月24日至27日，孫桐萱第3集團軍即分南北兩路進攻。北路由汶上向袞州進發，攻大汶口，大汶口至袞州之間的路軌全部毀壞，給日軍的增援造成了困難。南路曹福林部第55軍有南陽鎮起，東截津浦路，攻占了兩下店、界河，毀壞了袞州至臨城間的路軌，切斷了日軍左翼的增援路線。在台兒莊右翼陣地，日軍版本旅團向臨……三官廟一帶發動猛烈進攻妄圖有所突破。龐炳勳部和張自忠部奮力拚殺，經過徹夜激戰，日軍受沉重打擊，這一戰阻止了版本旅團向台兒莊。棗莊前線增援，暫時減緩了台兒莊作戰中國的壓力。