蔣既十分重視東北，卻不知也不敢打手裏的一張王牌，那就是張學良。少帥不僅是“當地的兒子”（ｎａｔｉｖｅｓｏｎ），而且是東北的傳奇人物，在民間有一定的影響力，更無論曆史淵源的深厚，收複東北不僅是國家的收複，也是他個人的收複，雪“九一八”之恥，沒有比他更加顯著，一旦榮歸故裏，號召力實無與倫比，中共的聲勢必然為其所掩蓋。但蔣氏狹窄的胸襟，仍以報複私怨為念，哪有“百萬人中取上將首級”的氣魄呢？所以他隻能派出熊式輝、陳誠、衛立煌等三四流貨色，既無“競爭力”，更無“穩定力”，哪會被東北父老瞧在眼裏？最後還得靠軍隊來“打通”東北，即使靠軍隊，他情願靠隻有幾個月粗淺軍事訓練的黃埔畢業生杜聿明，而不情願靠文武資曆完整、美國第一流軍校畢業生孫立人。孫批評杜“膽小如鼠”後被調往台灣風山訓練新兵去也。於是“硬體”精銳、“軟件”草包的蔣軍分布在東北鐵路沿線的諸要點上，從錦州、沈陽到長春，孤孤零零，渾然不知已被廣大的“麵”所包圍。一九四八年九月，毛澤東主動向錦州開炮，蔣即使想撤出關外精銳以保關內，亦為時已晚。當錦州一“點”被圍，蔣想派援軍解圍，不知毛早已有“圍點打援”的成竹在胸。十月三日，錦州告急，駐在葫蘆島的國民黨東北兵團九個師，難奉命馳援，然受阻於塔山地區，奮戰不已，仍無進展。十月十五日晚，錦州已失。
錦州既失，東北的後門被關上，群情緊張。三天之後，鄭洞國以長春降共，又失一“點”，沈陽遽成“孤島”。蔣介石亟欲反攻錦州，打開後門南撤東北精銳，臨時命令黃埔愛將杜聿明出任東北剿總副總司令，輔助衛立煌。杜於十月二十日飛抵沈陽，即命廖耀湘的美械新六軍南攻錦州，命五十二軍奪取營口，以備退路。但廖軍前進受阻，激戰數日無法突破，不得已撤軍營口，但通往營口之路已為共軍切斷，隻好北歸沈陽，但北歸之門也被共軍關上，隻好突圍，突圍不成，於十月二十八日被殲於大虎山之東，廖耀湘被俘。約略同時，葫蘆島的國民黨兵團也被困於塔山地區。十月三十日，杜聿明自葫蘆島飛返沈陽，機場已經被占，無法落地，折回葫蘆島。三天之後，共軍即已占領沈陽，衛立煌逃出。再一周之後，錦西、葫蘆島俱失，結束遼沈戰役，整個東北易手，蔣介石的軍隊被殲四十七萬餘人，其中有三十餘萬是現代化的精銳部隊。此敗除戰略上早失先機，成為困獸之外，蔣在戰術上又犯了兵家大忌，居然在飛機上或在“重慶號”座艦上瞎指揮，搞亂了部隊的主動與機動。相比之下，毛澤東隻提戰略原則，如何打法，全由東北野戰軍的林彪與羅榮桓負責決定，成敗利鈍豈偶然哉？
東北盡失，共軍在數量上已超過國軍，又從蔣氏嫡係投降之精銳部隊，取得前所未有的大批美製重武器，強弱已經易勢。何況陳毅、粟裕已組成龐大的華東野戰軍，據有山東；劉伯承、鄧小平以大別山為基地，也組成龐大的中原野戰軍，虎視眈眈。蔣介石若知進退，實應集中兵力於淮河之南，與華中白崇禧、西北胡宗南遙相呼應，以確保長江。然而蔣大輸之後極不甘心，仍想聚殲共軍主力，以挽頹局。最初，由於形勢所逼，已準備撤徐州之師，尋為毛澤東佯攻豫南所惑，覺得徐州有暇可守，舍不得放棄此一名城，遂命邱清泉、李彌、黃伯韜、李延年各兵團向徐州集結，另在徐州之南的宿縣有孫元良兵團，在蚌埠有劉汝明兵團。此一陣勢顯然要與華東、中原兩野戰軍決戰於徐蚌之間、津浦鐵路兩側。杜聿明又回任徐州副剿總，實際負責此次戰役。
杜甫上任，黃伯韜兵團已經被圍，蔣遂命杜率邱、李兩兵團解黃兵團之圍，並想乘機殲滅包圍黃兵團之華東野戰軍，亟欲與共軍一決雌雄。然而像東北戰役一樣，共軍圍點打援，當咬住黃兵團時，頑強阻援，使邱、李援軍遲滯其行，黃兵團近八萬人卒於一九四八年十一月二十二日被殲，黃伯韜兵敗陣亡。
蔣介石見黃兵團覆亡，如賭徒輸了大把銀子，急欲贏回，不惜拿出老本一搏，即令杜聿明率師南攻，令黃維兵團、劉汝明兵團分別北攻，意圖三路會剿，打通徐蚌間之鐵路線。未料三兵團前進依然困難，有時甚至寸步難行，黃維的機械化重武器兵團在河道眾多地區行軍，更為困難，又因蔣介石不諳敵情，亂出主意，敵前將領猶豫不決，缺乏彈性，終於十一月二十四日渡河後進入口袋，轉移無方，陷入重圍於南平集和雙堆集一帶。翌日，蔣致劉峙、杜聿明電，透露國軍消耗各種炮彈十二餘萬發，而進展每日不及一公裏，引為“奇恥大辱”（電文藏南京二檔館），至此，蔣知徐蚌之間的鐵路線已無望打通，乃允杜棄徐州而後退守淮河以南。然杜於十一月三十日南撤時，不到幾天就被困於永城附近。蔣居然還要杜南下救黃維兵團。這又犯了“撤即不能打，打即不能撤”的兵家大忌。杜部孫元良兵團突圍未果被殲。十二月十五日，久被圍困的黃維兵團相繼覆滅。劉汝明與李延年兩兵團及時南逃得脫。各路皆潰後，杜聿明所領邱李兩兵團更形孤立於永城東北，已成孤立無援、坐以待斃的局麵。
杜聿明當然希望華中剿總與西北剿總能伸援手，蔣介石視杜為心腹，所部乃老本之老本，更希望能有救兵。但是胡宗南的西北兵團遠水救不了近火。不少曆史學者指出白崇禧在華中見死不救，由於蔣桂之間素有芥蒂，事出有因。宋希濂在其自述中更指白氏有倒蔣企圖，並阻宋部東援，不過宋氏記白氏所說：“形勢已無法挽救，去（援）亦無補於大局。”（宋希濂《鷹犬將軍》下冊，頁三九二）平心而論，應屬實情，再多送一些部隊去受殲，不如集中兵力於武漢，以保障華中和西南，應屬上策。犧牲蔣之老本，固於蔣不利，於國民黨而言，未嚐不可說是“棄帥保車”。再說，蔣別立徐州剿總，原具私心，以分白崇禧之兵權，指揮與調配不能如臂使指，咎由自取。中共那邊劉伯承曾說，解放軍在華東與西北為啞鈴之兩端，而其中原野戰軍為啞鈴之柄，渾成一體。國共交兵，勝敗之機，又見之矣。
杜聿明陷於重圍後，十二月十九日晚間，風雪大作，一直到十二月二十八日，十天間無一日晴天，空投困難。在大軍餓肚子的情況下，蔣介石居然派飛機空投烈士紀念冊，意在要杜聿明去死，真是太妙了。杜被派赴前線之前，蔣介石曾召見他，表情沉痛地明告：這一會戰是生死存亡之戰，“你放下槍，我脫軍裝?選”師生前途，在此一戰。於是杜聿明臨危受命，義無反顧。到了被困之日，他拒絕中共招降，也是感於老師“你放下槍，我脫軍裝?選”這一番沉痛、這一番秘密告誡與叮嚀。但是，蔣介石畢竟是奸雄，一方麵，他明明想要杜聿明去死；他方麵，卻又不能不做救援的姿態，以表示他珍惜部下與將才。因此，形式上派飛機去接杜聿明之舉，也就一再演出。但真相卻是，飛機雖派了兩次，但駕駛員並未帶蔣介石的手令。沒有手令，杜聿明是不敢上飛機的。原來他們師徒兩人是有“密碼”（秘密意思表示）的。“密碼”不符，一切形式上的關懷，都屬無效。都是演給別人看的，不容你當真?選
一九四八年十二月十九日起，由於戰地雨雪交加，空投補給更形困難，杜聿明的部隊已經吃起了草根、樹皮和馬肉，這種局麵，何能持久？翌年元月九日，杜聿明實在撐不下去了，做最後突圍嚐試，當晚他給了蔣介石最後一電：“各部隊已混亂，無法維持到明天，隻有當晚分頭突圍。”這種突圍，實際是各自逃命。杜聿明改穿士兵服裝，混跡其中，仍被認破被俘。這次大會戰的結果，使國民黨的部隊全殲六十萬人，包括五十七個整師，元氣為之大傷。
這場規模空前的淮海或徐蚌大戰前後打了六十六天，國民黨幾乎全軍覆滅（惟李彌率部分隊伍得脫），蔣介石賠上他的老本。追究真正責任，該負責的是蔣介石自己。他完全不懂作戰原理，自毀長城。杜聿明後來寫了一篇《淮海戰役始末》，指出在戰役開始時候，蔣介石的軍隊處於相當優勢，“解放軍數量上在徐州方麵少於蔣軍，裝備也劣於蔣軍，特別是炮火少，飛機、坦克沒有”。按說，蔣軍處於如此優勢，當然大可一戰，可是蔣介石的軍事判斷與指揮能力太差了，他的手下也都是庸才，竟在“守江必守淮”的方針下，冒出了“一個出奇的方案”：“自徐州到蚌埠間二百多公裏的鐵路兩側，擺了數十萬大軍，既棄置徐州既設永久工事而不守（徐州那樣龐大縱深的據點工事，隻留一二個軍，幾等於不守），又將各兵團擺於鐵路兩側毫無既設陣地的一條長形地帶，形成鼠頭蛇尾，到處挨打的態勢。據我了解，古今中外的戰史中還找不到這樣一種集中會戰的戰略先例。”（杜聿明《淮海戰役始末》）
打仗如競技，技不如人，敗下陣來，根本沒有話說。但是蔣介石總是認為他的失敗由於部下沒有盡忠、沒有為他死節。杜聿明是“天子門生”，未能達到亡國天子的臨難死節標準，為天子所不諒，不僅對被俘坐牢之人毫無感念，而且惡待其家屬以為懲罰。這種不近人情的心態，其實是一種病。為什麼是病呢？因為照現代標準，一個將軍，隻要盡過全力作戰，在盡過全力仍不免於戰敗的時候，他可以為有所保全而投降。這種將軍回國後，仍舊是英雄、仍舊被當做英雄般的歡迎，所以如此，就是大家真的相信人可以不做無謂的犧牲。孟子說：“可以死，可以無死，死，傷勇。”就是這一道理。當然，這並不是說，當事人死是錯的，而是說，死不死是他個人的選擇問題、是他個人的自由意誌問題，而不是別人或統治者代為選擇的、代為強製的。硬定一個取舍標準，去叫人肝腦塗地，不是合理的要求，也不是人道的要求。但是，自己戰敗不死在首都南京的蔣介石，他落伍的大腦卻不這樣想。他總想別人為他做文天祥，才感快意，因而一律要求別人臨難死節。
他在一九三三年五月八日講《統軍作戰製勝之道》，曾有對付不自殺的“恬不知恥，欣然偷生跑回來”者的徹底辦法。他說：“返回之被俘官兵，一律視同敵探立即槍決，如有放縱隱瞞或收容掩護者同罪。”然而講這話後三年，蔣介石自己正好變成了他的理論的考驗者，他在西安事變中自稱被俘，若謂：“爾等以餘為俘虜”、“餘既為汝叛逆所俘”，但他偷生了、放回了，可是照樣“剿匪作戰”不絕，而不怕“軍隊風氣破壞”。一九四七年四月十五日，蔣介石感於“剿匪”戰事的不利，集合前方高級將領，到南京來受兩個星期的訓練，在開學典禮上他說得很露骨，他要被俘的軍人“隻要自殺”來解決這“人生最可恥的事情”。這次演講後三年，一九五Ｏ年四月十六日，他集合逃亡在台灣的手下敗兵殘將，在“陽明山莊”講《軍人魄——一名革命軍人成功成仁之要義》，分出兩個大類：一類是“臨陣逃亡”，一類是“被俘或投降”。他對這種“寡廉鮮恥”的痛恨，情見乎辭。顯然的，在蔣介石的大腦裏，一、革命軍人不應被俘；二、縱使被俘，也“隻有自殺”才可以自贖，除此而外，全屬無可原諒。
我們必須指出，蔣介石的基本意識形態是很複雜的。它包含了半吊子的中國上層封建思想，也包含了半透明的中國下層愚民思想，還包含了半瓶醋的西方和日本的近代思想。……它是這些思想的大拚盤，既半生不熟，又半新不舊。以這種“不幸做了俘虜”就“隻有自殺”的思想為例，從屈突通的故事看來，並非純粹是中國傳統思想。屈突通是隋朝的好官，唐高祖起兵的時候，屈突通正為隋朝守山西永濟。他率部隊去救京師長安，被唐高祖部隊困住。唐軍派他的家童勸他投降，他不肯，把家童殺了；又派他的兒子勸他投降，他也不肯，陣前罵他兒子說：“以前同你是父子，今天是仇人了?選”立刻下令用箭射他兒子。後來京師陷落，唐高祖部隊派人去心戰，屈突通的部隊嘩變，他下馬向東南磕頭大哭，說：“我已經盡了全力，還是打敗了，我對得起你皇帝了?選”遂被部下解送到唐高祖麵前。唐高祖說：“何相見晚耶？”勸他投降，屈突通說：“我不能做到人臣該做到的，不能一死，所以被你抓到，實在丟臉。”唐高祖說：“你是忠臣。”立刻派他做唐太宗的參謀總長。天下大定後，唐太宗在淩煙閣畫二十四功臣像，屈突通也在內。屈突通被解釋做是隋朝忠臣，也是唐朝忠臣，理由是惟其一心，雖跟兩君也是忠臣。所以，屈突通死後，魏征提出屈突通是“今號清白死不變者”，他的忠心可靠，為唐朝上下所欽服。屈突通投降後，跑去招降他的部下堯君素，大家見了，兩人都為之淚下。屈突通說：“我的部隊打垮了，但我加入的是義師，義師所至，天下莫不響應，事已如此，你還是投降吧?選”堯君素不肯，還怪屈突通不該投降。屈突通辯白說：“咳，君素，我已經盡過全力了?選”堯君素說：“我還未盡過啊?選我還有力量可盡啊?選”於是堯君素死守不降。最後城中兵少食盡，被部下所殺。