“沒想到，淮軍就剩下這點血脈了。”
甲午戰後，淮軍被打散了，損失嚴重，整建製的淮軍幾乎星散殆盡。隨著新陸軍的建立，舊軍的淘汰之勢已無法避免。戰後第二年，淮軍的撤並工作便全麵展開。這是李鴻章最害怕看到的，但他已無力左右局勢。據相關史料記載，這次撤並力度很大。被撤除的淮軍有張光前的慶軍，徐邦道的拱衛軍，以及駐北洋地區的閃殿魁的十個營；裁並的有唐仁廉的仁軍，呂本元、孫顯寅的盛軍。至於南洋地區，原有的十九營隻留下八營，而且有的直接並入了其他部隊。經過這次撤並，能夠保留下來的淮軍幾乎所剩無幾。除了羅榮光、周南亭、王得勝、何永盛等炮隊作為北洋海防守備軍得以保存下來外，整建製的淮軍也隻剩下聶士成接統的這支武毅新軍了。
武毅新軍是在原淮軍武毅軍基礎上擴建的。武毅軍最早是由李鴻章的四弟李昭慶在剿撚時招募的。初為十八營，後來李鴻章又把郭鬆林的鬆軍並入該軍，總兵力達到三十營。這是武毅軍鼎盛時期。剿撚結束後，武毅軍幾經撤裁，隻剩四營左右。1889年，葉誌超升任直隸提督，接統武毅軍，駐守蘆台。甲午戰敗後，葉誌超交刑部審判，定為斬監候，兩年後病死。聶士成於是接統了剩餘淮軍各部，內有聶士成所轄十八營，吳宏洛部六營，陳鳳樓馬隊三營，並在此基礎上不斷擴充，稱之為武毅新軍。
在李鴻章看來，這是他的最後一點希望了。淮軍雖然垮了，但他並不甘心，心裏還存著希望，那就是有朝一日重振淮軍。現在，這個希望就落在聶士成身上了。在隨後的談話中，李鴻章鼓勵聶士成帶好部隊，並對他寄以厚望。臨別前，他再三囑托道：
“時事艱難，任重道遠。”
聶士成答：
“謹遵教誨，不負重托。”
回到駐地，他便立誌圖強，以期重振淮軍雄風。遵照朝廷的旨令，他以武毅軍為基礎，並把慶軍、盛軍等殘部一一收攏。甲午戰敗，聶士成創巨痛深，刻骨銘心，深知舊軍遠落後於時代，要想不被淘汰，必須學習西法，脫胎換骨。為此，他下決心改造舊軍，“各營操練，一律改用西法”，並采用“德軍營製”、“聘請德國教官”；武器裝備也逐步更新，“皆為歐洲陸軍類型”。至於訓練，更是從難從嚴從實戰出發，不玩絲毫花活。就在武毅新軍創建第二年，部隊便有了很大起色。當年五月，大學士兼軍機大臣榮祿奉旨視察該軍，回來後給朝廷打了一個報告，內雲：
查該軍……均屬一律強壯，演練步伐整齊，均按洋法陣式，分合方圓，隱伏包抄，臨敵應變之法，亦屬便捷，統領將備，均各管轄嫻熟，洵為節製之師，尚堪適用。查閱營哨員弁，演打槍炮，多能中靶，試放水雷、旱雷，極為靈便，夜間試驗號火，亦可備軍行之用。……更於眾法之中，別求破敵之策。步隊則宜兼練奔走跳躍，使一氣能飛馳廿餘裏。隨地挖溝，頃刻隱藏，多設奇伏，陣布撤換。或於夜間出隊，不設燈火，練習耳目，務使其能越壘逾溝，衝突趣捷。如遇短兵相接，則洋人雖持火器之精，亦將有措手不及之勢……[424]
該報告對聶軍的評價相當高。可見聶士成學習西法改造舊軍，頗有成效。此後幾年，武毅新軍更是麵貌大變，訓練程度大幅提高，兵力也不斷擴充，達到三十營、一萬五千餘人，包括步兵、騎兵、工程兵、輜重兵等各兵種，成為當時清軍中西化程度最高、戰鬥力最強的一支勁旅。
1898年10月，榮祿奉旨創建武衛軍。這是清廷全麵控製軍隊的一個重要步驟。當時，國內主要軍事力量共有四支：一是甘肅提督董福祥節製的甘軍；二是四川提督宋慶指揮的毅軍；三是袁世凱督練的新建陸軍，還有一支便是直隸提督聶士成統轄的武毅軍。這四支軍隊的統帥全是漢人，榮祿受命編練武衛軍後，把這四支軍隊全部納入武衛軍的建製。其番號更改如下：聶士成部為武衛前軍，董福祥部為武衛後軍，宋慶部為武衛左軍，袁世凱部為武衛右軍。榮祿自募萬人駐南苑，為武衛中軍。次年1月，朝廷又令聶士成以直隸提督，總統直隸淮、練各軍及全省綠營。其軍權已遠在武衛各軍之上。實際上，已相當於甲午戰前李鴻章的軍事地位。
從1895年至1900年，短短的五年間，聶士成的名氣越來越大，聲望越來越高，所轄武衛前軍更是成為精銳之旅。1899年冬，他還奉旨進京祝壽，“賞紫禁城騎馬”。其地位顯著，由此可見一斑。
然而，好景不長。就在他進京祝壽回來不久，一場殃及北方的大動亂不可遏止地蔓延開來，聶士成的噩運也開始降臨了！