黃維兵團下轄第十、十四、十八、八十五共4個軍和1個快速縱隊，共12萬餘人，裝備精良，具有較頑強的作戰特點。其中第十八軍是蔣軍“五大主力”之一。蔣介石為打通徐州至蚌埠間的津浦線，3路人馬，以黃維一路氣勢最凶。黃維兵團可是蔣介石的嫡係精銳部隊，這支部隊是1948年9月編成的國民黨軍第十二兵團，當時理應由整編第十八軍軍長胡璉任司令官。
但是，因為國民黨內部人事、派係矛盾複雜，胡璉沒能如願以償。胡璉，字伯玉，1907年出生，陝西華縣人，1925年負笈北京，旋與同鄉劉誌丹、張靈甫一道赴廣州投考黃埔軍校，畢業於黃埔四期步科班。大革命失敗後，劉誌丹回到陝西，與謝子長一起領導渭華農民暴動，成為陝北紅軍和陝甘蘇區主要創建人之一。而胡璉和張靈甫則走上了另一條道路，追隨陳誠投靠蔣介石，成為蔣介石反革命大本營中的一員幹將。
1948年9月，組建第十二兵團時，胡璉任軍長的整編第十八軍受華中“剿總”總司令白崇禧指揮，是華中“剿總”有力部隊之一。
胡璉是陳誠的心腹幹將，還在白崇禧任國防部長時，胡就跟白鬧翻了，多次拒絕執行白的命令，雙方都向蔣介石告對方的狀，甚至鬧到白揚言要辭職。蔣介石不得不任命時任國防部新製軍官學校校長兼陸軍第三訓練處處長的黃維為第十二兵團司令官，胡璉則為副司令官。
黃維到第十二兵團赴任之前，曾向蔣介石提出條件，說：“打完這一仗（指徐蚌會戰）我還是回去辦學校。第十二兵團我去過渡一下，兵團司令官仍應給胡璉。”蔣介石同意了黃的意見。
第十二兵團司令部於1948年9月下旬在漢口組建完成之後，即移至河南確山，其所屬部隊除第八十五軍（軍長吳紹周，兼第十二兵團副司令官）遠在廣水、應山，其第十八、十、十四3個軍皆集結於確山、駐馬店、遂平一帶休整。
1948年11月8日，即淮海戰役打響的那一天，第十二兵團奉國防部嚴令：“不得以任何借口遲延行動。”遵照指定路線經正陽、新蔡、阜陽、蒙城、宿縣向徐州進發。第十二兵團有戰車營、榴彈炮營等重武器和汽車營及大量膠輪大車，好不容易渡過南汝河、洪河、潁河、西淝河，沿途不斷受到解放軍尾擊、側擊，地方遊擊隊的襲擊，以致部隊行動遲緩，每日行程隻有十幾乃至二十幾公裏，先頭部隊第十八軍於11月18日才抵達蒙城。
是時，解放軍扼守渦河北岸，第十八軍在蒙城正麵向解放軍展開攻擊，經過激烈戰鬥，解放軍主動撤出渦河阻擊陣地，第十八軍才得以渡過渦河，後續部隊隨即跟上。
這時，第八十五軍亦由後方趕到蒙城，正式歸建第十二兵團。當第十二兵團渡過渦河之後，黃維這才摸清了當麵之敵，均係解放軍中野之主力，這樣繼續前進，時刻有半夜臨深池的危險。黃維遂采納了第十八軍軍長楊伯濤的建議，改變行軍路線，擬利用渦河的掩護，由蒙城以主力轉到懷遠附近渡河，與鐵路正麵的友軍取得聯係，再向宿縣進攻，如此或可出解放軍之意外，前進可較為安全。
黃維將此意見電請國防部批準，未獲同意，仍限令照原定路線攻擊前進，以擊破當麵共軍，迅速趕赴徐州。