張克俠、何基灃在緊鑼密鼓地準備起義。11月3日下午，三十七師師長李寶善命令駐韓莊的一一一團撤回了運河南岸。明眼人一眼就能看出，這是在預防突變。何基灃立即和張克俠通了電話，判斷起義工作有可能已泄密。因此他倆決定，密告一一一團長張兆芙，把中共地下黨員王世江掌握的一個營留在運河以北，以便同解放軍接頭聯係，必要時可帶頭起義。
11月4日，國民黨國防部參謀總長顧祝同來到徐州前線，在“剿總”召開重要軍事會議，布置蔣介石“徐蚌會戰”戰略意圖。馮治安已經聞到了風吹草動的氣味，找過家芳、崔振倫等師長談話，想拉攏他們以穩住部隊。在此之前的九月份，蔣介石已經將馮治安所部的全體眷屬遷往江南高資、龍潭一帶，實際上是做人質。
11月5日，當華東野戰軍方麵把已確定的11月8日12時為第三綏靖區的起義時間正式通知了何基灃時，華東野戰軍第十縱隊已越過滕縣、官橋，正向韓莊疾進。
11月6日，淮海戰役打響。馮治安下令五十九軍、七十七軍堅守運河防線，每個渡口的守橋部隊均增加一個團的兵力，所有炮兵進入陣地，兩輛裝甲車已在柳泉整裝待發。而此時李彌所部一六六師空運到了徐州，很快將去前線配合作戰。準備起義的五十九軍和七十七軍麵臨不利形勢。
誰知就在這時，駐韓莊運河北岸的一一一團三營陣地前突然響起了一陣槍聲。營長王世江知道情況有變，急令九連連長前往查看。不久，九連連長竟帶回了兩名解放軍戰士。於是王世江的第三營便根據宋時輪的命令，率先起義了。而此時，何基灃、張克俠卻還蒙在鼓裏。
就在起義到了關鍵時刻，五十九軍的領導層卻有多人變卦。除了五十九軍軍長劉振三，因不願隨部隊起義去了上海“治病”之外，師長楊幹三、崔振倫覺得跟隨馮治安多年，不願意背叛上司；還有一些將領擔心被扣為人質的家屬的安危，有所顧慮。五十九軍情況正在發生變化，堅決主張起義的隻有副軍長孟紹濂。
何基灃聽說五十九軍情況有變，立即趕往五十九軍駐地。當他來到五十九軍軍部的時候，解放軍攻擊萬年閘的炮聲已經打響。才過一會兒，就有電話報告說：萬年閘失守，一個營被殲，解放軍大部隊正突破運河南下。
何基灃在屋子裏背著踱了幾步，壓低嗓音說：“何去何從，大家看吧！我們西北軍，這幾年跟著蔣介石討了什麼好？抗日戰爭，蔣介石借日本人消滅我們；打內戰，蔣介石總是讓我們在第一線。你們看，這次徐蚌會戰，第一個要消滅的不還是我們嗎？”何基灃激昂地提高嗓門：“我們在屏障徐州，可誰在屏障我們？誰又屏障過我們？”
五十九軍將校們都不說話了。何基灃一看有門，接著又亮出了一張王牌：“諸位，江南的家屬生命安全和生活困難等問題，我們已派人送去200兩黃金。張克俠副總司令很快會來到五十九軍，同部隊一起行動。”這樣一來，眾人心才安定下來。何基灃趁熱打鐵，當即簽署了部隊向解放區開發的命令。
11月7日，張克俠被馮治安叫到徐州脫不了身。眼看起義時間就剩最後一天了，他心急如焚！馮治安對張克俠是有戒心的，因為張克俠曾多次動員他起義。所以，在大戰來臨時，馮治安就“命令”張克俠住進了徐州，不允許他接近部隊。7日的白天開了一整天的會，晚上馮治安讓參謀長陳繼淹主持會議接著開，一直開到8日零時還在繼續。
淩晨四時，張克俠悄悄叫醒司機和副官，出徐州城趕往前線指揮起義。還沒到放行的時候，出城的柵子口就已經擠滿了很多人。馮治安的高級參謀尹心田將張克俠的車攔下了，將張克俠帶到房間。尹心田告訴張克俠，特務身份的參謀長陳繼淹馬上就到，叫張克俠拿繩子將他綁上，然後趕緊出城。原來尹心田早年參加過共產黨，在莫斯科中山大學學習時是張克俠的同學，平時關係很好，這次是有意成全他的行動。張克俠眼裏湧出淚水，緊緊地握住尹心田的手。張克俠驅車出城後，陳繼淹的摩托車隊趕到，但已經追不上張克俠了。
11月8日上午8時，借機脫身的張克俠趕到賈汪，並在賈汪給馮治安打了一個電話申明理由：“總司令，大戰在即，我必須和我們的部隊同生死共患難。”同時再次請求馮治安來賈汪前線坐鎮指揮。
馮治安明知有詐，但也無可奈何，隻好做了一個順水人情，命令張克俠在前線負責指揮作戰。起義時間原定是在11月8日12時整，但張克俠和何基灃在與解放軍代表楊斯德商量後，決定提前兩小時行動。就這樣，當張克俠回到賈汪兩個小時後，起義行動開始：國民黨軍第五十九軍在張克俠和副軍長孟紹齡的率領下集結在台兒莊；第一三二師在師長過家芳的指揮下，向北移動至峰縣北麵集結；第三十七師一一一團在李連城的率領下，在峰縣集結；何基灃在最後時刻爭取了劉自珍的幹訓團起義後，隨即將前線指揮所和直屬部隊向汴塘轉移。
兩位“佩劍將軍”騎馬並行在隊伍前麵，何基灃感慨地對張克俠說：“我們是相處三十年的朋友，我今天才知道你的真正身份。”張克俠也笑著說：“彼此彼此，我也剛剛知道你是咱們的同誌。”
11月10日拂曉，各起義部隊都已到達運河以北的指定地點。11月12日，解放軍魯中南軍區司令員張光中、政委高克亭盛情接待了起義部隊。張克俠與何基灃率領兩萬三千多名官兵在賈汪、台兒莊地區起義，使國民黨軍精心布置的徐州防線徹底亂了陣腳，東北部運河防線敞開了一個80 公裏的大口子。解放軍華東野戰軍3個縱隊迅速通過起義部隊所在地，直插隴海，切斷了國民黨軍黃百韜兵團與徐州的聯係。11月22日，黃百韜兵團被圍殲在徐州以東的邳縣碾莊地區，淮海戰役第二階段勝利結束。
11月28日何基灃、張克俠、孟紹濂、過家芳、崔振倫、楊幹三聯名致電陳毅、饒漱石、張雲逸、粟裕、譚震林，並通電全國，宣布脫離國民黨反動陣營，舉行戰場起義。
在聯名通電全國的電文中，他們寫道：“時當今日，舉國人民歸向中共與人民解放軍，蔣賊大勢已去，覆沒之期即在眼前。本軍為順應全國宿願，恢複過去愛國愛民初衷，繼續為人民事業而奮鬥，在全體兩萬餘名官兵熱烈要求下，已於11月8日，在徐州以北賈汪、台兒莊防區毅然舉行起義，加入人民解放軍。今後誓願在中共中央領導下，根據人民解放軍之宗旨及人民解放軍宣言所示各種政策和主張，重建本軍為人民軍隊……”
何基灃、張克俠率部起義後，根據華東局的指示，起義部隊被改編成兩個軍——五十九軍和七十七軍，張克俠任五十九軍長。1949年1月10日，淮海戰役結束，五十九軍與華東野戰軍渤海縱隊合編為中國人民解放軍第三十三軍，張克俠任軍長，隸屬第三野戰軍第九兵團建製，隨後，張克俠便率部參加了渡江戰役。在廣德追擊戰中殲敵萬餘。爾後，又參加解放上海戰役，兼任淞滬警備區參謀長。
1950年3月7日，中共中央組織部作出了《關於張克俠黨籍問題的決定》。決定說：“我們認為張克俠同誌雖然在國民黨軍隊工作，但1929年入黨以來，一貫與黨保持聯係，設法為黨工作，並有成績，故其全部黨籍，應予承認。”
新中國成立後，何基灃先後擔任中國人民解放軍第三十四軍軍長、南京警備司令部司令員等職。1955年被授予一級解放勳章。後來他還曾任水利部副部長、國務院水土保持委員會副主任兼秘書長、農業部副部長等職，被選為第五屆全國政協常務委員。1980年1月20日，何基灃病逝，按照他的遺願，骨灰分別撒在盧溝橋和淮海戰場。
全國解放後，張克俠先後出任華東軍政委員會農村部部長、國家林業部副部長兼中國林業科學院院長，是第四屆全國人大代表、第五屆全國政協常委。1984年7月7日因病逝世，享年84歲。