3月14日，日軍進攻滕縣，一場悲壯的滕縣保衛戰，拉開了台兒莊戰役的大幕。
從戰略態勢看，進攻滕縣的日軍是一路孤軍。
日軍參謀本部在籌劃津浦路北段日軍的作戰行動時，考慮到戰線長、兵力少的困境，確定濟寧、鄒縣、蒙陰為指令線，第5、第10師團的前期行動不得超越這條指令線。但是，第5、第10師團的官兵一向視自己為日軍的精銳，一些少壯派驕矜自負，竭力主張向南推進，一鼓作氣攻下徐州。特別是第10師團占領濟寧、鄒縣一線以後，磯穀廉介中將急不可待，多次向第2軍指揮部請求南進。2月，懶穀支隊向運河以西進攻，占領嘉祥以後，日軍的侵略野心進一步膨脹。
3月上旬，阪垣征四郎和磯穀廉介兩名中將通過方麵軍再次向日軍大本營請求率部南下，攻占徐州。日軍大本營批準了他們的請求，但同時指出，由於華北方麵軍正在進行晉南戰役，山東戰場不可能再增加部隊，徐州會戰的準備工作沒有完全就緒。第5、第10師團南下作戰，兵力不能分散，位置不宜突出，進攻正麵不要太寬，部隊前進時不要太遠。為了防止發生不測情況，日軍大本營把作戰區域限製在京杭大運河以東、以北地區。日軍華北方麵軍指揮部根據大本營的意圖，也提出了第5、第10師團不可突出冒進的措施，方麵軍司令官寺內壽一大將特別指出，部隊進至滕縣、嶧縣、臨沂一線以後，轉而取守勢，為爾後作戰做好準備。
從戰爭指導上看，上述意圖是符合戰場情況的。徐州會戰終究是一場80多萬大軍互相搏殺的大會戰，沒有充分準備，就可能遭到不測。但是，阪垣征四郎中將和磯穀廉介中將侵略中國的野心惡性膨脹，自持武器裝備上的優勢，輕視中國軍隊的戰鬥力。特別是第10師團占領濟寧以後，繼續南下，取得了局部勝利，第一次冒險成功。他們的行動雖然受到了日軍大本營的節製，但一時的局部的勝利使一些日軍將領失去了理智，他們不顧一切，孤軍深入，急於向徐州挺進。
進攻滕縣的日軍，由第10師團第33旅團獺穀啟少將指揮，共有兵力約1.5萬人。主要部隊是：第33旅團所屬第10、第63聯隊；野炮兵第10聯隊（缺1個大隊，2個中隊）；野戰重炮兵第2聯隊（缺2個大隊）；中國駐屯軍炮兵聯隊第3大隊；獨立機槍第10大隊；獨立輕裝甲車第10、第12中隊；臨時野炮兵中隊；臨時山炮兵中隊；工兵第10聯隊第1中隊；兵站汽車第15中隊。
瀨穀啟少將指揮的這路日軍，孤軍前出，不能及時得到其他部隊的增援，成為相對好打之敵。戰爭指導者要善於抓住處於孤立態勢之敵打擊之。在敵人無隙可乘時，不要輕舉妄動，而冷靜地觀察戰局的變化，等待其脫離主力、孤軍深入之敵的出現，以便為己所用。戰爭指導中，打擊孤立之敵，不是一種軟弱的行為，而是一種理智的表現。脫離主力，孤軍深入之敵，常常是在戰鬥過程中出現的，這就要求戰爭指導者要善於抓住戰機。
這路日軍人數雖然不多，但配備了眾多炮兵，在炮兵火力上有較大優勢。日軍進攻滕縣，憑借炮火優勢，占據了主動地位。但在台兒莊卻遭到滅頂之災。
3月14日，天剛蒙蒙亮，日軍的飛機就飛臨滕縣上空，對滕縣進行狂轟濫炸。緊接著，炮彈一陣接一陣地落在滕縣縣城，日軍在坦克的掩護下，向滕縣附近的中國守軍陣地發起攻擊。防守滕縣的中國守軍在第122師師長王銘章的指揮下，拚死堅守。
孫震總司令得知日軍大舉進攻滕縣，立刻從臨城乘火車趕到滕縣，不顧日軍密集的炮火，到前線陣地察看。在北沙河地段，孫震把附近部隊的指揮官召集到一起，明確提出了抗擊日軍的作戰方法。孫震在陣地上大聲說：“為了國家存亡，必須人人抱定‘有敵無我、有我無敵’的決心，與敵死拚，不負男兒七尺之軀。”
孫震臨陣動員，振奮了滕縣守軍的士氣。官兵們互相轉告孫總司令的訓話，勉勵自己。
3月15日，日軍陸續增加部隊，上萬日軍向滕縣右側迂回，加強了對滕縣的進攻。滕縣東北十餘裏的馮河、龍陽店等幾個主要據點被日軍包圍。下午5時，日軍主力向滕縣逼近。此時，王銘章師長能夠指揮的滕縣守城部隊，隻有8個步兵連、1個衛生隊，連同滕縣縣城的警察和保安隊，一共也不到3000人，真正有戰鬥力的部隊隻有近2000人。麵對裝備精良的日軍的連續進攻，滕縣的處境非常危急。王銘章臨危不懼，動員官兵誓死報國，部隊士氣高昂，一次又一次地把日軍擊退。
3月16日，從黎明開始，日軍向滕縣東北方向發動猛烈進攻，上萬發炮彈瀉落在滕縣城內，飛機整整轟炸了一天，滕縣城內的老百姓驚恐萬狀。第127師師長在戰鬥中光榮負傷。堅守滕縣外圍各主要據點的中國守軍互相隔離，被迫各自作戰，一些據點的官兵壯烈犧牲。
孫震總司令獲悉滕縣的戰況，打電話給王銘章：“昨天，湯恩伯的先頭部隊已到臨城，後續部隊會陸續趕到。你們必須堅守滕縣。你的指揮所應立即移到城內，你要親自指揮守城事宜。如果守城兵力不足，可以把城外的兵力調進城內。”
“我們一定固守待援。”王銘章堅定地表示。
王銘章到滕縣指揮所後，當即告誡滕縣城內全體官兵：我部必須死守滕縣。我和大家一起，城存與存，城亡與亡。現在，立即把南門和北門堵死，東門和西門暫時留出通道，沒有我的命令，任何人不準出城，違紀者，就地正法。
命令傳下去後，王銘章師長鎮定自若，登上滕縣城頭，不斷慰勉守城官兵，堅決阻擊日寇，誓與陣地共存亡。為了集中兵力加強滕縣的防守，天黑以後，王銘章命令城外各據點向滕縣靠攏，進入縣城防守。
日軍的優勢兵力久攻不克，磯穀廉介惱羞成怒。這天夜間，他把3萬多日軍、70多門大炮、近50輛戰車調集起來，把滕縣城關的東麵、南麵、北麵包圍起來。
滕縣的戰局越來越嚴重。第5戰區原定由湯恩伯軍團的一個團接替滕縣的防務。該團已於3月15日到達臨城。孫震總司令得知這一情況，命令該團立即前往滕縣，支援王銘章師長防守滕縣。但是，由於該團必須等到軍團司令部到達臨城後才能北上，難以立即前往滕縣。當時，第22集團軍在臨城的部隊隻有第41軍直屬特務營了，這個營僅有3個步兵連，1個手槍連，力量單薄。孫震總司令為了解滕縣之圍，命令特務營營長率領3個步兵連星夜出發，急行軍趕往滕縣，支援王銘章師長防守滕縣，他自己身邊隻留下1個手槍連。