第三次長沙大捷，第十軍聲名鵲起，軍長李玉堂榮升第九戰區兵團司令，第十軍軍長由原黃埔三期生、該部預十師師長方先覺接任，方的第十師師長一職由葛先才繼任。此次守衛衡陽，正是方先覺統領的第十軍。
此時的第十軍因此前參加常德保衛戰遭到日軍重創，原四師（第三師、第一九〇師、預備第十師、暫編第五十四師）已折半，僅相當於兩個師的兵力，共有1.7萬餘人，屬於久戰疲憊之師。而日軍圍攻衡陽部隊除第十一軍4個師團，另有直屬炮兵、化學部隊等共計11萬人，中日兵力比值為1：6.4，如此懸殊的兵力對比，在整個抗日戰爭中屬首次出現，正因了這諸多的因素，為這場戰爭增加了一係列懸念並塗上了悲壯色彩。
按照國民黨軍事委員會原定計劃，國軍主力布置在衡陽外圍，以方先覺部萬餘人吸引日軍傾全力前來攻城，隻要方部扼守衡陽10天，最多兩周，即有外圍主力部隊增援並成鐵桶合圍之勢，裏應外合，一舉圍殲來犯之敵。
日軍大本營的作戰方案是，傾第十一軍團全部兵力圍攻，於一日之內可攻陷衡陽。就在這作戰命令下達時，老謀深算的第十一軍團司令官橫山勇，識破了中國軍隊高層的戰略意圖，未敢輕易發兵，隻調集兩個師團部分兵力3萬餘人作前鋒，分波次向衡陽圍攻，其他部隊則負責阻擊外圍的國民黨援軍並伺機圍殲國軍主力。用橫山勇的話說：“隻要將敵人外圍主力擊破，衡陽守軍得不到援軍，在無補給之情況下，至其戰力耗盡時，則不攻自破矣。”[6]既然中國原有的戰略部署被日軍破解，戰爭的進程也就出乎雙方軍事高層預料之外了。
6月23日淩晨，衡陽攻防戰正式打響，雙方均以火炮為主猛擊對方，日軍主用重炮與野山炮，中方主用迫擊炮，中間伴有其他武器交火與小範圍、短時間的肉搏戰。中國守軍士氣高漲，日本方麵“負責攻城之兩師團，鑒於長沙之攻占，已被他人捷足先登，功震全國，乃欲急起效尤，一時戰誌如雲”。[7]兩支強軍狹路相逢，各懷戰誌，死拚硬磕，戰鬥持續了近一個月，雙方傷亡重大，未分勝負，攻防雙方皆拚全力支撐。多少年後，據方先覺對日本《產經新聞》記者古屋奎二說：“由於長期作戰，醫藥品和食品缺乏，極感困苦。沒有止血藥劑，沒有繃帶，負傷官兵的傷口有發炎生蛆的現象。本來可以救治的官兵，很多都死亡了。我們給予敵人的打擊也非常之大，每天可以望到敵陣在舉行火葬的煙焰。整個衡陽城被死屍臭氣所籠罩，實在是很悲慘。”[8]
衡陽交戰前，日軍大本營擬定在一日之內攻占衡陽的戰略成為泡影，事後被日軍軍史專家斥為“其必勝之信念，誠屬可嘉；其廟算之粗率，罪無可逭”。[9]日軍如此，中國軍隊同樣陷入了因高層廟算不周而導致在旋渦中不能自拔。在苦戰中勉力支撐的國民黨守軍日夜盼望的增援部隊，因受日軍外線阻擊，行驅艱難，始終未能抵達衡陽城門。
經過如此長時間的消耗，衡陽已成為一座內無糧草、外無救兵的孤城。