捷報傳出，全國振奮。4月7日，蔣介石致電祝賀，並撥款30萬元派俞飛鵬赴台兒莊前線慰勞。前來采訪的中外記者和慰勞團大批湧到，默默無聞的台兒莊經此一戰，名聲遠揚。
台兒莊會戰的勝利，是抗戰以來中國正麵戰場取得的最重大的勝利，全國軍民在日軍侵略軍大舉進攻麵前，同仇敵愾，誓死抗擊日軍，決心為保衛祖國流盡最後一滴血的英雄氣概的充分體現。
本來因為準備著不足日軍決定暫不擴大戰場，但台兒莊戰敗，對不可一世的日軍來說，無疑是一種極大的恥辱，於是決定對徐州方麵的中國軍隊給予打擊，以挽回麵子。尤其是在台兒莊期間“看到在台兒莊方麵有大量軍隊，特別是川軍的獨立師、122師以及湯恩伯軍團的出現，認為給蔣介石政府方麵的主力一次大的打擊，是挫傷敵人抗戰意誌的大好機會，因此決定進行徐州作戰”。
日軍加緊進行部署，於4月7日下達命令，決定對徐州用兵。同日日本大本營參謀總長下達了《徐州附近作戰指導要領案》。據此，日本華北方麵軍與華中派遣軍聯手，於4月10日製定了徐州會戰指導方案，其目標就是要將中國軍隊吸引到徐州附近及津浦路以東地區，在徐州以西及西南方切斷其退路，而後攻占徐州、殲滅中國軍隊。
日軍為實現合圍並消滅中國軍隊於徐州的計劃，將會戰分為三個階段：
第一階段實施仰留作戰，采取有限攻勢，將台兒莊追擊北進的中國軍隊仰留於韓莊、澤縣、臨汾之線；同時，華中方麵軍以一部分兵力由淮陰方麵向西北方麵前進，占據要點，將中國軍隊牽製於徐州東南地區，以爭取時間掩護主力集中包圍徐州。
第二階段實施包圍作戰，發動大規模攻勢，切斷中國軍隊徐州以西及西南方向的退路；華中派遣軍配合行動，將徐州完全包圍，而後進攻徐州，殲滅徐州附近的中國軍隊。
第三階段實施鞏固占領區域作戰，以中國軍隊後方要地及中國空軍為主要攻擊目標，並對日軍其他軍團采取直接支援。
從4月中旬起，日軍按戰前部署，從平、津、晉、蘇、皖個戰場，增調約30餘萬軍隊，並配以各種重武器，向徐州進逼；日軍另一部則取海道在連雲港登陸，占領海，從東北進逼徐州。對徐州形成大包圍，
采取南北對進， 側翼迂回的戰術， 企圖圍殲雲集在徐州一帶的第5戰區主力。
台兒莊戰鬥勝利後，從戰略上分析，中國統帥部判斷敵軍必將增援反攻。劉斐根據部隊現在的情況的戰鬥力，主張魯南的作戰改為機動防禦，主力集結於機動有力的地位，相機打擊敵人；建議縮小戰場正麵，後退至運河沿線布防，控製強大的預備兵團於徐州以西，用以應付各方麵的情況。在此形勢下中國軍隊應及時撤離徐州地區，避免不利決戰，以保存有生力量，同日軍進行持久作戰。但是蔣委員長沉醉於台兒莊大捷之中，認為日軍已成強弓之末，企圖畢其功於一役，打出一個如同“八一三”那樣的大會戰，從根本上扭轉中國軍隊同日軍作戰的不利局麵。因此，蔣委員長勉強同意機動防禦及運動戰製敵的方針，但是在具體部署兵力方麵不肯放棄現有各要點，並要求第一線作持久防禦的部署。