1947年3月萊蕪戰役，國民黨李仙洲集團的第七十三軍及四十六軍兩個軍七個師共六萬餘人被我軍全部殲滅後，蔣介石再集重兵，攻擊我華東解放區，妄圖挽救在華東戰場的頹勢。為確保其戰役企圖的實現，蔣介石出動了號稱“五大主力之首”、衛戍南京的整編第七十四師，以其由淮陰出漣水，進入魯南之臨沂，向蒙陰進攻。整編第七十四師隸屬湯恩伯的第一兵團。當時，湯恩伯駐在臨沂城，所轄部隊共有七個整編師和一個軍，其中，整編第七十四師是其“王牌”，擔任主攻任務。鑒於萊蕪戰役的教訓，蔣介石指令湯恩伯采取“集中兵力，穩紮穩打，齊頭並進，避免突出”的作戰方針，又考慮到在萊蕪戰役中采取南北夾擊的部署，使北線李仙洲集團因冒進而被解放軍殲滅，提出了“密集靠攏，加強維係，穩紮穩打，逐步推進”的進攻策略。我華東野戰軍采取“持重待機”的方針，靈活調動敵人。國民黨軍進入山東一個多月，也未能與我軍主力接戰，每天隻四處亂竄，圍繞著臨沂在崇山峻嶺中被我軍耍得團團轉。
按照湯恩伯的最初部署，前線的整編第七十四師應配合整編第八十三師（師長李天霞）作戰，進出桃圩，掩護整編第八十三師進占界牌，並與整編第十一師協同攻占蒙陰；整編第二十五師（師長黃百韜）則待整編第七十四師占領蒙陰後，由費縣進出蒙陰，並指揮整編第六十五師配置於左後翼側，控製於蒙陰、新泰之間，聯係王淩雲的整編第九師，待所有部隊列位後，再統一前進。
張靈甫對作戰打計沒有異議。但對讓他配合李天霞卻難於接受。原來，李天霞與張靈甫的後台老板王耀武是同學，都是黃埔三期的學員，還曾當過張靈甫的上司，比張資格老。但是，因為李天霞為人跋扈，處事狡猾，為王耀武所忌；而張靈甫雖然在作戰上有一些辦法，但政治頭腦比較簡單，且性情敦厚，頗得王耀武歡心。因此，在國民黨軍隊進行整編時，盡管李天霞和張靈甫都明確表示願意到整編第七十四師任職．但王的心裏還是想讓張靈甫到七十四師。張靈甫在穩穩地控製了王耀武這一票後，還有些不放心，又在南京就近走俞濟時的門路，主動上門請其代為周旋。俞濟時曾經擔任七十四軍第一任軍長兼五十八師師長，係俞飛鵬之侄，與蔣介石既是同鄉又有師生關係而兼瓜葛之親，自調總統府任第三局局長後，權勢日大。七十四軍改為整編第七十四師時，俞也有意掌握該師，以進一步增強自己的實力，見張靈甫主動前來，非常高興，那次談話也很投機。事後，便向蔣介石力保張靈甫當整編第七十四師師長。王和俞力保張靈甫，李天霞盡管花了很多錢，就任七十四師師長的夢想最終還是落空了。經過這個回合的爭鬥，張靈甫與李天霞雖然表麵上沒有什麼，但心裏的矛盾卻非常突出。有了這層關係，讓張靈甫聽李天霞的指揮，他說什麼也放心不下。
當整編第七十四師到達桃圩、蒙陰一線時，張靈甫向湯恩伯請求歸黃百韜指揮。湯恩伯知道強扭沒什麼好處，就同意了張的請求。然而，張靈甫自視甚高，雖然他自己提出配合黃作戰，但並不能與黃很好合作，作戰過程中也不服從黃的調度。當張靈甫準備進出坦埠時，先派兵力搶修垛莊至坦埠的公路。黃百韜認為這樣做會暴露企圖，遂加以製止。張靈甫不但不聽，反而說：“暴露豈不更好，我正是要引匪前來。
5月13日整編第八十三師、七十四師、二十五師、六十五師由界牌、垛莊、桃圩、蒙陰之線開始北進，整編第六十四師控製於臨沂。當整編第七十四師到達坦埠以南地區時，黃百韜發現解放軍主力由蔣峪、悅莊南下，黃百韜即電令張迅速撤退至垛莊、桃圩之線，控製天馬嶺，右翼緊靠整編第八十三師，左翼接整編第二十五師。張靈甫不以為然，自恃整編第七十四師戰鬥力強於任何部隊，對黃百韜說：“找解放軍的主力還找不著，現在他們來得正好，讓我吸住它。”在其後的部署上，張也是自以為是，退至孟良崮後便準備固守，並放棄了天馬嶺據點。黃百韜當即指出：“你的裝備重、車輛多，怎能上得山？山上沒有水，你怎麼辦？”張靈甫哪裏聽得進黃的良言相勸，引用了其舊中國參謀長勸他時的話說：“此雖孤山，但地形險要，我們可以置之死地而後生。”
張靈甫剛愎自用，不聽黃百韜的，還有他自己的一套理論，黃百韜也隻能任由他去。黃百韜私下裏對親信將領說：“張靈甫自視太高，我拿他沒辦法，但願他不要成了失街亭的馬謖。”然而，這樣一來，湯恩伯原定的計劃便不能實行了；按照湯恩伯的意圖，原準備“以沂水支流為屏障，合第八十三、七十四、二十五、六十五等四個整編師，固守界牌、蒙陰之線，另以七十四、二十五兩個整編師各一部，固守天馬嶺、蛤蟆嶺，陣如長蛇，擊頭則尾應，擊尾則頭應，擊張則首尾之八十三、六十五兩整編師從兩翼包圍，席卷而來，待解放軍攻勢頓挫，轉移攻勢”。現在，張靈甫自行其是，打破了湯恩伯的計劃，大家都得圍著他轉了。