台兒莊戰役結束以後，中日兩軍的統帥部重新判斷徐州地區的戰爭形勢，都大量向徐州地區調集軍隊，但戰略出發點不同。
台兒莊戰役，中國軍隊殲滅日軍萬多人，一度掌握了徐州會戰的主動權。中國最高軍事當局受到台兒莊大捷的鼓舞，對徐州地區軍事態勢作了新的分析判斷，日軍不可戰勝的神話再一次被打破。對於下一步行動，國民政府一些高級將領意見不一致。有人認為，徐州附近的中國軍隊應轉移陣地；重新建立起一道保衛武漢的新防線。有些人主張，要利用部隊高昂的士氣，再打一個勝仗。
蔣介石接受了後一種建議，決定“擴大台兒莊戰果”，在徐州地區同日軍進行一場決戰，奪取決戰的勝利。因此，蔣介石按照決戰的意圖，把戰鬥力強的部隊紛紛調到徐州地區。出於這一戰略考慮，第5戰區的部隊由會戰初期的29個師迅速增加到64個師又3個旅，總兵力約60萬人。
日軍大量向徐州地區增加兵力，主要出於4種考慮。
一是通過台兒莊戰役，日本軍國主義者看到徐州附近集結了大量中國軍隊，認為這是進行一場決戰的好時機，是殲滅中國軍隊的主力，挫傷中國軍民抗日意誌的好時機。
二是春季來臨，日軍對北方強國蘇聯的戰備有所鬆弛，在全局上日軍有較多的機動兵力可以南調，戰略預備隊的力量加強。
三是日本最高軍事當局受台兒莊戰役失敗的影響，對中國軍隊的戰鬥力進行新的評估，認為徐州不可能輕易取得，必須調集重兵，四麵合圍，才能打通津浦鐵路，攻占徐州。
四是台兒莊作戰失敗後，一些軍官萌發了報複中國軍隊的心理。
出於以上考慮，日軍統帥部對徐州地區的軍事態勢作了新的判斷，對北平、天津、山西、江蘇、安徽等地日軍的作戰任務重新進行調整，抽出第14、第16、第114師團，命令這3個師團向徐州地區運動，配備各種重武器，調遣數百架飛機，進行徐州作戰，打通津浦路。
4月3日，日軍大本營研究了進行徐州作戰的可能性。
4月7日，日軍大本營下達了組織徐州作戰的命令。陸軍部根據上述命令，製定了《徐州附近作戰指導要領案》。其基本作戰意圖是：徐州作戰，華北方麵軍和華中派遣軍聯合組織實施，以華北方麵軍為主，華中派遣軍配合華北方麵軍作戰。作戰開始後，主力兵團向西迂回，從側後保衛徐州，殲滅中國軍隊第5戰區主力。其任務區分主要是：
華北方麵軍第5、第10、第14、第16師團向開封以東行動，攻占隴海鐵路沿線以北地域；主力南下，進攻徐州；用2個師團向蘭考、商丘方向進攻，切斷中國軍隊向西的退路。
華中派遣軍第9、第13師團在徐州以南行動，占領徐州以南的津浦路和合肥地區，從南麵策應華北方麵軍進攻徐州。
4月中旬，“日軍大本營派遣班”進入中國，在濟南設立指揮機構。這個派遣班由參謀部作戰部部長橋本群少將率領，主要任務是協調徐州南、北日軍兩大兵團的作戰行動。4月17日和18日，日軍在濟南召開了參謀工作會議，華北方麵軍和華中派遣軍有關人員在會上明確了兩軍進行徐州作戰的有關事宜。由此可見，日軍大本營對徐州作戰是多麼重視。
4月18日，日軍發起了新的攻勢。
日軍第5師團遭到中國軍隊沉重打擊以後，稍經補充休整，以步兵第9旅團為骨幹組成國崎支隊，從臨沂西北的義堂地區南進。第10師團分成3路縱隊，從薛城、嶧縣、向城之間60公裏的正麵上向南攻擊前進，對中國守軍進行牽製性進攻。第16師團的草場支隊擔任第10師團的預備隊，片桐支隊擔任第5師團的預備隊。中國軍隊第2集團軍，第20、第3軍團，第27軍團第59師奮起抗擊。日軍每前進一步，都受到中國軍隊的沉重打擊，進攻遲緩，到月底，這路日軍仍被阻止在韓莊、邳縣、郯城一線地域。
日軍新的進攻，催促中國軍隊作出新的作戰部署。徐州戰場有64個師，這不是一支小部隊。這些部隊如何部署，蔣介石並沒有作出詳細計劃。作戰廳長劉斐曾向蔣介石建議，山東南部的中國軍隊應該以機動防禦為主。在作戰指導上，除以一部分軍隊同日軍保持接觸外，主力應集結在便於機動的地區，相機打擊日軍；運河沿線要有中國軍隊防守；徐州以西地區，要控製強大的戰略預備隊，以便應付突然發生的各種情況。但是，這些建議沒有被采納。
第5戰區司令長官李宗仁對徐州周圍集結重兵有不同看法。李宗仁認為：“我方在徐州一帶平原，聚集大軍數十餘萬人，正是敵方機械化部隊和空軍的最好對象”。李宗仁還指出：“以我軍的裝備，隻可相機利用地形條件，與敵人作運動戰。”
從以上分析看，蔣介石集團雖然決定在徐州同日軍決戰，但沒有形成一個完整的決戰方案，數十萬部隊匆忙調往徐州地區，倉促防禦，許多帶兵打仗的將領對總的作戰意圖不明了，這是導致後來徐州會戰失利的一個陰影。
李宗仁經過反複考慮，決定把其中21個軍編為5個兵團。這些兵團是：
淮南兵團：李品仙任司令員，編有3個軍的部隊。
淮北兵團：廖磊任司令員，編有4個軍的部隊。
魯南兵團：孫連仲任司令員，編有9個軍的部隊。
隴海兵團：湯恩伯任司令員，編有3個軍的部隊。
蘇北兵團：韓德勤任司令員，編有2個軍的部隊。
一場數十萬軍隊參加的大會戰開始了。
徐州大會戰，實際上是徐州外圍戰。
5月5日，日軍從南麵和北麵同時向徐州夾擊，其戰略意圖是，先迂回徐州西側，再四麵包圍徐州。
徐州南麵戰場：日軍第9、第13師團從蚌埠沿北淝河、渦河西岸北進。第3師團從蚌埠出發，向大營集、宿縣進攻。
徐州北麵戰場：日軍第16師團從山東的濟寧渡過運河，向江蘇省的豐縣、碭山挺進。第14師團從河南省的淄陽縣南渡黃河後，向蘭考挺進。第10師團把韓莊、台兒莊地區的作戰任務交給第114師團接替，在夏鎮附近渡過微山湖，向江蘇省的沛縣進攻。
以上作戰目的一旦達成，日軍就完成了對徐州的四麵合圍，形成同中國軍隊主力進行決戰的態勢。
為了從四麵合圍徐州，日軍對這次進攻行動進行了精心的準備。進攻發起後，各部隊進展順利，會戰進程似乎是按照日軍單方麵製定的時間表推進的。
5月9日，日軍第16師團南下，向碭山、唐寨地區挺進，從西麵攻擊徐州。第14師團步兵第28旅團奉命從河南新鄉轉赴山東濟寧，向鄆城、菏澤等地發起進攻，掩護師團主力強渡黃河。
5月10日，日軍第9師團經蒙城、永城等地，向徐州西南地區進攻。當時，廖磊指揮的第21集團軍所屬第7、第48軍防守淮河中流地域。廖磊命令第171師師長楊俊昌帶一個團，扼守宿縣；命令第173師副師長周元率領一個團，扼守蒙城。日軍進攻蒙城時，周元遵照廖磊司令長官的命令，指揮2000多官兵拚死抵抗。激戰中，防守蒙城的中國軍隊除20多名士兵突圍外，周元副師長及其餘官兵全部壯烈犧牲。這路日軍16日逼近徐州。
5月11日下午，日軍步兵第28旅團在旅團長酒井隆少將的指揮下，攻占鄆城。鄆城失守，菏澤就暴露在這路日軍的進攻正麵了。防守菏澤的中國軍隊第23師師長李必蕃感到敵情嚴重，嚴令第68旅組織反攻，奪回鄆城。
第68旅出發後，李必蕃師長親自帶領師直屬隊前往增援。第68旅剛從前線撤退，沒有得到休整，加之日軍的炮火異常猛烈，部隊多次組織反攻，官兵遭受重大傷亡，仍然沒有奪回鄆城。李必蕃師長立即調整部署，把第67旅配置在菏澤左側，把第68旅部署在菏澤的右側，嚴令全師各部隊抓緊時間做好戰鬥準備，死守菏澤。李必蕃是湖南省嘉禾縣人，先後在長沙陸軍小學堂、武昌陸軍中學堂、保定陸軍軍官學校學習軍事，畢業後曾擔任團副、參謀主任等職。參加北伐戰爭中，戰功顯著，升任團長。1936年1月，任第23師少將師長。全麵抗戰開始以後，李必蕃率領部隊從臨潼出師抗日，在滄州作戰中，榮立戰功，受到嘉獎。第23師參加徐州會戰，李必蕃師長嚴陣以待，部隊官兵的抗日熱情高昂。