不過，日軍隻是補充兵力，但卻沒有派更多的師團參與到衡陽城的進攻中，橫山勇依然堅持主力在外麵打援，參與攻城的，隻有第六十八師團與一一六師團，不過，這兩個師團總人數加起來接近五萬，敵多雙方兵員比例達到一比三。
8月11日，在得到了野炮四個大隊、迫擊炮二個大隊的增援後，日軍攻城部隊開始了對衡陽的第二次總攻，慘烈的攻防戰又開始了。
8月13日，中國守軍擊斃日軍120聯隊聯隊長和爾大佐，經過連續9晝夜的血戰，日軍68、116師團以傷亡8000人、陣亡聯隊長1名、大隊長6名、幾乎所有的中隊長的代價，隻攻占了衡陽防線的一線陣地，日軍的第二次總攻又遭慘敗。
中國守軍也傷亡4000餘人，失守的陣地都打到最後一人。
在日軍著手準備第三次總攻期間，城內外大小戰鬥並未停止，軍委會在8月12日嚴令79軍、62軍火速增援衡陽，20日己打到衡陽郊外，不料日軍正好在此時停止對衡陽的總攻，轉而全力阻擊並反擊中國援軍，79軍、62軍被迫後撤。
日本，東京。
此時的日本，在太平洋戰場和中國戰場上處處碰壁，東條英機內閣由此倒台。（這比曆史上東條內閣的倒台提前了一年之久）
日本急需一個戰時首相來領導日本將戰爭進行到底，考慮到戰時條件下應該由陸軍軍人擔任總理，裕仁天皇就把陸軍大將翻了個遍。發現有威望又有能力的都在前線脫不開身，而小磯國昭居然在10多年前就在參謀本部和陸軍省幹過，退役後又擔任過兩屆拓務大臣，可見文武雙全，最後小磯國昭得到了重臣與天皇的垂青，成為了新首相。
小磯國昭上任後，曾經考慮過重新起用石原莞爾為陸軍大臣，石原的意見是立即和蔣介石談判，這樣可以在手頭還有點兵力作為討價還價的資本的條件下同美國實行停戰談判，可以爭取到一個好點的條件，一貫缺乏政治魄力的小磯國昭不甘心日本軍國主義的失敗，認為“還不能斷定最後一戰無獲勝的希望”，繼續推行戰爭政策。幻想日軍打一次勝仗後，“抓住時機進行和平停戰談判”。
而衡陽之戰，則成了小磯國昭最後的救命稻草，這一仗打贏了，解救了南洋的孤軍，那麼，局勢就會有所緩解，反之，如果打敗了，那麼對自己執政將是一個沉重的打擊。
衡陽已打了一個月了，這引起了裕仁天皇的關注，裕仁天皇親自接見小磯國昭，詢問他衡陽之戰是否有把握。
小磯國昭跪在裕仁天皇麵前發誓，衡陽之戰，一定可以取得最終的勝利。
從皇宮走出後，小磯國昭暗暗的想，這一次，無論如何，也要拿下衡下，哪怕付出再大的代價，否則，自己執政的脆弱根基將蕩然無存。
小磯國昭嚴厲斥責了中國派遣軍，而中國派遣軍又嚴厲斥責了橫山勇，橫山勇這時已意識到了自己輕敵大意，好在，他的部隊已擊退了中國的援軍，於是，他將打援的58師團、13師團二個主力師團抽調了出來，增援68、116師團。
這時守城的中國第十軍的有生力量已經基本消耗殆盡，輕傷員、馬夫、夥夫統統上了火線。日軍合四個師團之力對衡陽進行了第三次總攻，最後的血戰到來了，第十軍傷員已過8000人。
“軍長，剛剛與79軍聯係過了，他們的軍長已經陣亡，隻好撤了下去。”餘先明參謀長說道。
“62軍呢？”方先覺問道。
“62軍打的也很慘，其中一個師打到最後隻剩下了一千多人，他們也撤了。”
“也就是說，我們現在沒有援兵了？”方先覺說道。
“還有二百師。”
“對，還有李學坤的二百師，二百師怎麼樣了？有什麼消息沒有？”方先覺問道。
“李學坤自從機場一戰後，就音訊皆無，他的二百師主力，雖是機械化部隊，但是因為道路不好，所以行動並不快，在外圍與鬼子打了兩仗，之後就沒有了消息。”餘先明苦笑道。
“軍長，要不……我們突圍吧。”餘先明有些悲涼的說道。
方先覺一怔，隨後拒絕了，口中說道：“我們突圍出去了，剩下這8000傷兵怎麼辦，你們忍心丟下他們讓日本鬼子屠殺死，我們死在一塊，要自殺，我先動手”。
此時，衡陽中國守軍第十軍與下屬各部的通訊聯絡電話線都被日軍飛機、重炮炸斷，已無法組織有效的抵抗，各部處於各自為戰狀態，方先覺知道，衡陽的陷落己是時間問題了。
方先覺意識到，最後時刻已經來臨，他淒然一笑，口中說道：“給軍委會發電。”
隨後，方先覺正了正衣衫，口中一字一頓的說道：“敵人今晨由城北突入以後，即在城內展開巷戰，我軍傷亡殆盡，刻再無兵可資堵擊。職等誓以死報黨國，勉盡軍人天職，絕不負鈞座平生作育之意。此電恐為最後一電，來生再見。”