攻陷長沙後，日軍以其第二線兵團加入第一線作戰，迅速南下，企圖一舉拿下衡陽，達到與桂境兵力會師的戰略目的。麵對危局，國民黨軍事委員會總指揮部急速調兵遣將，分三路進行阻擊，抗戰史上最為慘烈的以衡陽為中心的劇戰拉開了序幕。
6月20日，中日雙方在衡陽周邊50公裏的範圍內，分別投入了30萬與35萬兵力，先於外線展開激戰。至7月底，日軍4個精銳師團相繼逼近戰略中心衡陽。國民黨第九戰區第十軍方先覺部扼守衡陽，抵抗日軍的猛烈進攻。此次衡陽之戰，是抗戰後期最大規模的一次會戰，被蔣介石稱之“有關於國家之存亡，民族之榮辱至大”[4]的最後一場生死之搏。日軍大本營燈火通明，各級將官、參謀人員日夜研究、關注著這場戰事，中國軍民與各黨派團體翹首以待，盼望國軍用盡吃奶的力氣也要頂住，千萬不要被打趴壓垮。身在陝北延安窯洞的中共領袖毛澤東在對這場大戰給予熱切關注的同時，又以一個卓越戰略家的智慧與姿態高屋建瓴地指出：“衡陽的重要超過長沙，它是粵漢、湘桂兩條鐵路的聯結點，又是西南公路網的中心，它的失守就意味著東南與西南的隔斷，和西南大後方受到直接的軍事威脅。衡陽的飛機場，是我國東南空軍基地之間的中間聯絡站，它的失守就使辛苦經營的東南空軍基地歸於無用。”不僅如此，“衡陽位於湘江和耒水合流處，依靠這兩條河可以集中湘省每年輸出稻穀三千萬石，還有極其豐富的礦產，於此集中，這些對大後方的軍食民食和軍事工業是極端重要的，它的失守會加深大後方的經濟危機，反過來卻給了敵人以‘以戰養戰’的可能性。”[5]
正是緣於衡陽及其周邊地區在軍事中不可取代的重要戰略地位，從武漢失守到1944年日軍圍攻衡陽，在將近六年的時間裏，作為中日交戰的主戰場這一帶戰事未曾消停過。1939年中國十大戰區，以湖南為主要戰場的第九戰區擁有最多兵力，極盛時達到54個步兵師，占全國總兵力的四分之一強。1939年至1945年抗戰勝利這段時間，正麵戰場共有12次重量級大會戰，分別是：第一次長沙會戰、豫南會戰、上高會戰、棗宜會戰、晉南會戰、第二次長沙會戰、第三次長沙會戰、浙贛會戰、鄂西會戰、常德會戰、豫湘桂大會戰、老河口芷江會戰。
其中有六次大會戰在湖南戰區展開。七七事變之後，日軍原定計劃三個月亡華，但僅湖南一地，國軍就頂了五年之久，多次會戰，日軍始終未能越雷池一步，由此可見湖南戰略地位之重要與國軍高層對這一戰區的重視程度與兵力之強。
此時駐守衡陽的國民黨第十軍，前身為黃埔教導團，北伐時代擴編為國民革命軍第三師，或稱“老三師”，其將領分別為錢大鈞、李玉堂、蔣超雄、方先覺、葛先才、周慶祥等，曆屆第十軍軍師長也多為“老三師”舊部。抗戰軍興，第十軍成為國民黨五大主力之一，其特點是善於防禦作戰。抗戰八年，第十軍打硬仗的次數和展現的頑強鬥誌，並不亞於號稱“虎賁”之師、“抗日鐵軍”的王牌第七十四軍（抗戰後整編為七十四師，師長張靈甫）。第十軍最出色的一戰是1941年年底至1942年年初，三戰長沙中擔任長沙守備任務的保衛戰。時軍長為黃埔一期生，號稱“黃埔三傑”“山東三李”（李仙洲、李延年、李玉堂）之一的李玉堂。當此之時，李的指揮部設在嶽麓山前一個祠堂內，麵對飛蝗一樣圍攻而來的日軍，李鎮定自若，從容指揮。一日中午，李玉堂在指揮部一手拿煎餅，一手用筷子夾食大頭菜，忽有敵彈飛來，將眼前一個盛大蔥和蝦醬的鹹菜罐子擊得粉碎，李不為所動。轉眼又一彈飛來，將筷子擊為兩截，李有點氣憤地罵了一句“把他娘！”即用手抓大頭菜吃。部下勸李更換指揮位置，李認為飛來的乃是流彈，無礙大局，終未搬遷指揮部。在李玉堂以身作則的感染下，第十軍將士豪氣凜然，於嶽麓山和長沙城頭與敵人展開血戰，致使日軍傷亡慘重。1942年1月1日，日軍再度發動對長沙的進攻，第十軍也抱定與長沙城共存亡的決心，連續與敵激戰三晝夜不分勝負，日軍調集大批飛機對長沙城守軍實施連續長波次轟炸，守軍傷亡慘重，日軍占據上風。延至1月4日，奉命守衛長沙南門城外的第十軍預十師三十團與攻城的敵人短兵相接，展開肉搏，一時血肉橫飛。日軍在飛機配合下，攻勢淩厲，長沙城岌岌可危。黃埔四期出身、三十團團長葛先才上校見部下傷亡激增，情況危急，恐支持不到黃昏長沙就落入敵手，焦急中乃決定孤注一擲、拚死一搏，發動全團展開衝鋒。一時間，十數支軍號響起，全團官兵包括炊事兵、雜務兵、傳令兵等一切勤雜人員全部投入衝鋒與肉搏的行列中。軍號聲與喊殺聲與全團官兵誓將一死的浩然氣勢，使敵人大受驚嚇，驚慌潰退，兄弟部隊乘勝追擊，長沙之危就此得解，第三次長沙大捷的序幕就此拉開。當晚，葛先才奉蔣委員長令晉升少將，軍長李玉堂獲頒青天白日勳章。1月5日，第九戰區司令長官薛嶽上將下達了追擊、堵擊和截擊潰退日軍的命令，湘北大地頓時殺聲四起，炮火連天，敵軍以傷亡57000人（陣亡33941人）的慘重代價宣告此役敗亡，中國軍隊就此書寫了近代戰爭史上最為輝煌的一頁。在整個長沙大捷中用命最甚、立功最大的第十軍，獲頒國軍最高榮譽“飛虎旗”一麵，被軍事委員會命名為“泰山軍”。