抗日戰爭勝利結束後，謝祥軍任華中軍區第五軍分區司令員。1946年6月，華中野戰軍擴充，以華中軍分區的武裝及投降的趙雲祥部組成第十縱隊。謝祥軍任縱隊司令員，兼任第五軍分區司令員。7月，國民黨軍集中了15個旅約12萬人，向蘇中解放區大舉進犯。根據華中野戰軍總部的部署，在粟裕、譚震林等指揮下，謝祥軍率第十縱隊主力，同其他兄弟部隊一起，投入了蘇中戰役，七戰皆捷。在華中野戰軍的戰史上，在中國人民的解放戰爭史上留下了光輝的一頁。
1946年10月19日至11月1日，華中野戰軍主力28個團在黃河兩岸地區組織了大規模的漣水保衛戰。十縱隊有3個團參加戰鬥，其主要任務是阻擊敵人從兩淮進攻，謝祥軍與政委劉培善率十縱廣大指戰員步步阻擊，層層設障，予敵以重大殺傷和打擊，勝利完成阻擊任務，有力地配合了整個戰役。10月22日，敵人從漣水城南門強渡過河，攻占南門大堤陣地。23日，十一縱司令員成鈞命偵察參謀朱永嵐騎快馬到十縱司令部，向謝祥軍告急。謝看信後，立即命令部隊集合，朱要他寫收條，他就匆匆地在其手心寫個“收”字，便帶領部隊跑步增援，配合十一縱擊退敵人的猛攻，守住了陣地。24日早晨，謝祥軍司令員在前沿陣地察看敵情，準備迎接新的戰鬥任務，不幸被敵人子彈擊中腹部，在送往後方醫院途中光榮犧牲，時年32歲。
謝祥軍的犧牲是黨和軍隊的重大損失，中央軍委，陳毅、粟裕、譚震林、張雲逸、鍾期光等新四軍首長，分別向他的家屬致電寫信，高度評價他對革命作出的貢獻，對他的不幸犧牲，表示深切的悼念。
謝祥軍犧牲後，遺體由漣水縣黨組織安葬在漣水縣城附近的板橋，後遷往蘆蒲，全國解放後，南京軍區要將他的棺橔遷往南京烈士陵園，但當地的老百姓為了永遠紀念他，要求不要遷葬，並在蘆蒲修建了謝祥軍烈士墓。