左翼兵團擔任牽製、阻援，限其整編第二十八師加整編第五十七師一個旅於8月22日攻占碾莊圩（現屬江蘇省邳州市）；整編第五十九師及整編第七十七師進攻台兒莊地區（現屬山東省棗莊市）；整編第五十一師掩護左翼兵團左側及後背安全，第一快速縱隊留徐州作為戰役總預備隊。
國民黨軍的計劃是：先攻占宿遷、睢寧、洋河鎮等地，這就同時打開了通往淮陰（向南）和沭陽（向東）兩地門戶。薛嶽說，這時，要著重擺出一副進攻沭陽的架勢。沭陽是中共蘇中解放區與山東解放區聯係的必經之地（沭陽現為宿遷市一個縣，位於宿遷東55公裏，距山東臨沂140公裏），共軍不能不爭。待共軍將主力部署於沭陽一帶，淮陰防禦空虛，國民黨軍以右翼兵團主力出洋河鎮（今屬宿遷市，離宿遷30公裏，離淮陰85公裏），攻擊淮陰，一舉攻克之。左翼兵團則負責保障攻淮部隊側翼安全。
第三步，挖心戰術。薛嶽將奔襲淮陰城的任務交給了張靈甫。一是因為整編第七十四師機械化程度高，奔襲和攻擊能力強；二是因為張靈甫少年氣盛，堪當此重任；三是張靈甫是蔣介石嫡係中的嫡係，把這個桃子給張靈甫摘，也是給蔣介石一個很大的麵子。薛嶽是慣於軍事、政治兩手一起抓的。
由此，8月21日起，國民黨軍右翼兵團開始齊頭並進，華野第九縱隊則節節抵抗，為大兵團尋找戰機而苦苦堅守。但陳毅未尋找到戰機，隻得率主力退出睢寧（屬徐州）、宿遷地區。9月1日，國民黨軍占領宿遷並攻擊洋河鎮。國民黨軍左翼兵團也同時攻擊台兒莊等地，將我軍山東戰場與華中戰場分割開來。
9月，薛嶽調張靈甫整編第七十四師由宿遷至洋河鎮（今屬宿遷市泗陽縣），藏於第七軍之中。第七軍與整編第六十九師則大張旗鼓，在泗河架橋，擺出進攻沭陽的架勢。此舉讓陳毅做出了僅留華野第九縱隊守泗陽縣及眾興鎮（泗陽縣城，離淮陰約40公裏），主力在泗陽、沭陽、宿遷三縣中間地帶隱蔽，準備抗擊國民黨軍對沭陽的進攻。這樣我軍主力華野第九縱隊擺在泗陽，山野第七師到了大興集（位於宿遷東20公裏，離沭陽35公裏，在沭陽西麵），第二縱隊到了新集（現沭陽一個鎮，位於沭陽西北），第八師到了漁溝（在淮安市淮陰區西北16公裏處，在沭陽南麵約80公裏）。這樣，陳毅擺出沭陽保衛戰的戰陣。這個方案，中共最高領導毛澤東是同意的。
兩淮之戰我軍失利
9月6日，薛嶽下達攻擊淮陰令：第七軍於9月11日起攻擊泗陽縣及眾興鎮，占據後再佯攻來安鎮（現屬泗陽縣）和漁溝鎮（現屬淮安市淮陰區）。以此掩護整編第七十四師的側後安全。
同日，整編第七十四師先隨第七軍推進，開進到淮陰附近的胡大莊、大興莊後，超越第七軍進攻淮陰城與淮安城。要求於9月16日攻占淮陰城，17日攻占淮安城。整編第二十八師調到洋河鎮作戰役預備隊，各工兵團負責架橋布線。
此時，華野司令員粟裕、政委譚震林等判斷薛嶽的目標是淮陰，並立即電告中共中央與陳毅，請求山野南下，保衛淮陰與門戶泗陽。但陳毅堅持自己的判斷與布陣，毛澤東也同意陳毅的意見。
9月10日，薛嶽急令第七軍提前一天進攻。第七軍當日即攻占了泗陽縣的倉集鎮。華野第九縱隊司令員張震急報陳毅。這時大家才明白薛嶽不是東進沭陽，而是要南攻淮陰了。
然而陳毅麵臨兩難：不增援泗陽，華野第九縱隊肯定頂不住國民黨第七軍的攻擊。泗陽縣城一丟，淮陰就危險了。但增援泗陽保淮陰，萬一宿遷的國民黨軍再向沭陽進攻，山野則會腹背受敵，局麵也不可收拾。
陳毅想出一計，下達命令，讓山野主力移兵六塘河北，繞道國民黨軍背後，進攻雙溝、睢寧一線，以期在國民黨軍到達淮陰城前，威脅其側後，來個“圍魏救趙”。不料華野第九縱隊第一防線在11日就被國民黨軍第七軍突破，陳毅隻好讓已在六塘河北的主力再回兵向南增援眾興集、漁溝防線。中共中央軍委也在當日急令粟裕派兵增援淮陰城。到了12日下午，華野第九縱隊二線陣地失守，泗陽縣城被國民黨第七軍占領。
這時中共方麵仍被薛嶽迷惑：戰鬥中隻發現國民黨第七軍的番號，沒有發現整編第七十四師的影子，以為當麵隻有第七軍一個部隊。中共中央軍委便提出了圍殲國民黨第七軍的設想。
雙方戰到9月13日，國民黨第七軍越過泗陽縣占領來安鎮後，國民黨整編第七十四師開始出現。該師直接越過泗陽第七軍前沿，向南攻入淮陰的李口、五裏一線。這時陳毅徹底明白了薛嶽的意圖——這是要打淮陰及淮安呀。
陳毅下達命令：由華野政委譚震林統一指揮華中現有各部保衛兩淮。同時，山東野戰軍則準備消滅進犯來安鎮的國民黨第七軍。
譚震林急令華野第九縱隊在淮陰城西南13公裏張福河構築陣地，軍特務團防守淮陰城西北的王營、西壩，淮南軍區第六旅第十八團防守正西方楊莊至南新集（現宿遷市泗陽縣新袁鄉）一線。三支部隊迅速組成了保衛淮陰城西南到西北的屏障。同時，譚震林急調淮南軍區第五旅、中原突圍而來的皮定鈞第十三旅及淮寶各地方部隊馳援兩淮。
不料14日黃昏，整編第七十四師突破第十八團防線，第九縱隊副司令員饒子健率第七十五團反擊未果，隻能退守碼頭與楊莊一線（現均屬淮陰區，離淮陰城12公裏），與剛剛增援來的第十三旅在大運河東岸構成防線。但在整編第七十四師強大炮火下難以堅守，被敵搶占了灘頭。譚震林動用中原突圍來的第十三旅反擊，皮定鈞令三個團各拿出兩個營，攻擊9次，犧牲600餘人，卻沒能把敵人趕下河去。