淮軍垮了。
李鴻章也失勢了。
甲午戰後，李鴻章被免去直隸總督和北洋大臣的職務，地位一落千丈。即便如此，他的對手似乎還不肯放過他。參劾的奏章依然不斷，意欲置其死地而後快。更讓他氣憤的是，有人還打起了他的大學士的主意。一天，他的老部下袁世凱就來找他，拐彎抹角地說什麼中堂是再造元勳，功高汗馬，如今閑居京師，未免不合，朝廷真不該這樣對待老臣。他還勸說李鴻章，不如暫且告退，一旦朝廷有事還會想起爵帥。到那時你再出山，豈不更有麵子？
李鴻章一聽這話便氣不打一處來，他打斷他的話說，袁世凱，你這是要給翁同龢當說客的吧！他早想得個協辦大學士，我開了缺，依次推升，正好給他騰位子。你去告訴他，那是休想！諸葛亮說過，鞠躬盡瘁，死而後已。我還是配這兩句話的。隻要我還有一口氣，一息尚存，我決不無故告退，也不奏請開缺。臣子對君上，哪有那麼多計較？又有什麼合與不合？你不用花言巧語地騙我，他也別做這種幻想。
袁世凱讓他一頓臭罵，灰溜溜地走了。李鴻章餘怒未消，憤憤地對身邊人說，袁世凱真是小人！他巴結翁同龢，我偏不告退！我老師曾夫子的“挺經”正用得著，我是要傳他的衣缽的。我就與他挺著，看他們如何擺布？[422]
李鴻章那天很生氣，他氣翁同龢，更氣袁世凱，這個無恥小人竟然為他的政敵當起了說客。
不過，如今的袁世凱已經不是當年的袁世凱了。甲午戰敗後，人們對舊軍的幻想完全破滅了。一時間，朝野上下，改練新軍之說大盛。在這種情況下，清政府不得不改革軍事製度，決定組建新型陸軍。
甲午戰後第二年，即1895年11月，兩江總督張之洞率先在南京創建了一支新軍，被稱作“南洋新軍”。此後不久，在北方的小站，又一支新軍也隨後建立。這支被稱為“北洋新軍”的統帥就是當年李鴻章一手提攜起來的袁世凱。
小站練兵是中國近代史上的一個標誌性的事件。它是中國軍隊走向近代化的開始。盡管小站練兵之初，新建陸軍規模並不大，人數不過七千人，但卻異軍突起，迅速擴張，短短幾年便形成了一個以袁世凱為首的龐大的武裝集團。可以說，小站練兵宣布了一個新時代的開始，就像當年李鴻章組建淮軍一樣，北洋軍的建立也預示著袁世凱時代的到來。
隨著新建陸軍的不斷壯大，作為舊式軍隊的淮軍，逐步被取代的命運已不可避免。盡管新建陸軍的統帥袁世凱出自淮軍，段祺瑞、馮國璋等一些重要將領也都出自淮軍，但他們已經不再是原來意義上的淮軍。
不過，李鴻章並沒有死心。他對重振淮軍仍然抱著一絲希望。這個希望就在聶士成的身上。
甲午一戰，清軍雖然在朝鮮慘敗，但聶士成的表現卻可圈可點。安城渡一戰，他首戰告捷；平壤潰敗後，他又堅守要隘，與敵相持，直到奉命後才返回國內。回國後，朝廷將葉誌超、衛汝貴撤職查辦，並明令將葉、衛所部交由聶士成統帶。這顯然是出於李鴻章對聶士成的信任。
此後，鴨綠江防禦戰打響。盡管清軍全線崩潰，但聶士成的表現依然讓人刮目相看。此戰他竭盡全力，打得相當不錯。當時，他率部堅守虎山東側，從清晨至午後，力戰六個小時，多次擊退日軍進攻。直到鴨綠江防線瓦解後，他才率部突圍，撤至鳳凰城一帶，設防於摩天嶺。不久，敵軍連陷鳳凰城、連水關，聶士成率部據守山頂，臥雪餐風，苦守十餘晝夜，使敵軍難以逾越。此後不久，他又與盛軍約定，親率數百騎，冒雪發動夜襲。是夜，大雪紛飛，駐守連水關的日軍從睡夢中驚醒，被聶士成打得措手不及，狼狽逃竄。此役聶軍大獲全勝，不僅奪回連水關，而且擊斃敵將富岡三造，又一次奪取了中日戰爭中難得的勝利。
11月23日，就在聶士成浴血奮戰之時，他接到朝廷諭旨，被授予直隸提督一職。聶士成感激涕零，在當天的日記中寫道：
“天恩高厚，時事艱難，不覺感泣。”[423]
此後，他奉命扼守大高嶺。海城淪陷後，遼陽危急。聶士成親率精騎千人往援，並在遼陽東路阻擊日軍，粉碎了敵軍在新年之前拿下奉天的計劃，再次顯示了他傑出的指揮才能。
縱觀甲午戰爭，淮軍一敗塗地，但聶士成卻以其智慧和忠勇，為淮軍挽回一點顏麵，也因此受到朝廷重用。
甲午戰後，聶士成以直隸提督，受命組建武毅新軍。有一天，他途經天津專門去拜見李鴻章。此時，李鴻章已從過去“坐鎮北洋，遙執朝政”的權力頂峰跌落下來。當他看到聶士成時，頗為傷感。想當年他一手編練的淮軍現已土崩瓦解，四處星散。想到這裏，不禁悲從中來。談話開始後，李鴻章仔細詢問了武毅新軍的情況。聶士成一一做了回答。說著說著，李鴻章便歎了一口氣，他說：