這時，袁世凱正隨吳長慶駐紮朝鮮，6月電李鴻章，讓清政府盡快入朝戡亂，不必多想，言稱日本人別無他意。
李鴻章對日本的保證和袁世凱的電文深信不疑，馬上應朝鮮請求，派淮軍將領葉誌超率二千餘人出動，登陸牙山，同時通知日本當局。日本人見清廷已派兵，馬上以保護公使館和僑民為理由，派兵湧入，其數量遠遠超過中國軍隊。李鴻章這才曉得事情蹊蹺，深思後，急忙勸求列強說和。他幻想英俄相助，沒有回應，又求到美國，美利堅馬上端出一副“嚴守中立”的態度，這位北洋老臣有苦難言。日本人7月23日攻占了朝鮮王宮，成立以大院君為首的傀儡政府，強迫大院君宣布廢除中朝兩國所有商約，並“授權”日軍驅逐中國軍隊。
同一天，日本國對中國不宣而戰，發動了背信棄義的武裝偷襲。
這就是著名的甲午戰爭。平壤、黃海之戰，是甲午戰爭中兩個重要戰役，中國均告失敗，但在東京的報紙上，有這樣的記載：在平壤，左寶貴親自登城指揮，中國兵士激烈應戰，不遺餘力，硝煙蔽天，炮聲震地，左寶貴在惡戰中不幸中炮陣亡。黃海之戰中，親曆這場戰役的英人泰萊記載：戰鬥中，水手們嚴肅、樂觀，他們當中絲毫沒有恐懼形跡，有一個水手受了很重的傷，但他仍在專心作戰，敵艦“鬆島”在激戰中被“鎮遠”鐵甲艦兩次命中，引起火藥爆炸，斃敵百餘。敵艦“赤城”橋頭及前甲板擊毀，艦長以下死傷甚眾，“西京丸”也中彈累累，運轉不靈。中國方麵損艦四艘，其中“致遠”因炮彈用盡，管帶鄧世昌下令撞沉日艦“吉野”，不幸中雷沉沒，全船官兵無一生還，全部犧牲。戰鬥經過約五個小時，日艦先退，北洋艦隊駛赴旅順。
與此相反的是，淮軍頭領葉誌超，率先逃走，大軍崩潰，不可收拾。在旅順灣，李鴻章的私黨守軍統帥龔照熙，平素貪鄙庸劣，日軍侵入的先一日，乘漁船逃往煙台，其餘將領紛紛效尤，倉皇擾攘，秩序大亂，將船塢、炮台價值千萬餘銀兩物資，全部資敵。這時的清廷可謂震驚，連當時的主戰派翁同和也六神無主，奏折曰：“平壤既棄，義州已危，鴨綠一水，不過裏許，江西無險，若長驅平進，北距興京六百餘裏，永陵在焉，雖南麵有山，恐兵少難扼。”
此時攝政的慈禧，給李鴻章下旨，就兩個字“主和”。
內外不討好的李鴻章，心態悲涼，當他聽說丁汝昌在內外敵人的脅迫下服毒自殺，不禁長歎一聲，歎他苦心經營的北洋水師瞬間消失。丁汝昌自殺的第二天，即1895年2月13日，由“廣丙”管帶程壁光以丁汝昌名義向日軍求降，劉公島炮台軍資器械，全數獻給敵人，北洋艦隊遂告覆滅。
1895年3月19日，李鴻章乘一艘輪船，數日顛簸，抵達了日本本州南部的馬關，他捋了捋稀疏的胡須，官服簇新，此時他年事已高，步子邁得很艱難，顯得有些老態龍鍾。可隨從李鴻章的一位洋人，倒是神氣活現，西服筆挺，他就是美國國務卿柯士達，是來“幫助”李鴻章的。
甲午失利，舉國聲討，李鴻章簡直沒來得及喘息，就讓日本人給逼到談判桌前，他們個個趾高氣昂，態度倨傲，拿出早就準備好的所謂草案，讓他簽字，無外乎是朝鮮獨立、割讓土地、賠償軍費、通商通航。對方是臭名昭著的伊藤博文，帶著勝利者的口氣說：“李中堂，你隻講兩句話就可以了，行還是不行？”
此時的李鴻章腦子有些空白，早已拿定主意來議和，可這個條約勒索太多，天理難容，不由強打精神說：“難道不許分辯?”
伊藤博文說：“閣下，你看好了，願意不願意分辯是你的事，可條約的內容是不能改變的。”
李鴻章見大勢已去，本希望美國人能幫他，最後看到沒有餘地，心裏打著鼓，有些強硬說：“這也太過分了，我不能草率行事，得奏請朝廷。”
伊藤說：“那也好，就告訴你們當今太後，這是第五次談判了，如不幸破裂，軍部一聲令下，我六、七十艘運輸船立刻搭載大軍前往，到時候北京的安危，不堪設想。”
李鴻章心裏明白，國弱遭人欺，聞此言，還是硬說：“你果敢如此?”
伊藤說：“李中堂一旦離去，能否安然出入北京城門，我不能保證。”
伊藤一番恫嚇後，又顯出忍讓的樣子，在條約上無傷大體地改了改，李鴻章也就順坡下了。然後奏文朝廷：“詞已決絕，無可再商，察看近日倭人之舉動，已遣兵船二十餘艘，由馬關出口赴大連灣，並令德美前往觀戰，其意可知，恐非即與訂約不可。”
就這樣，李鴻章用他那布滿青筋的老手，代表大清帝國簽字畫押。他已經風燭殘年，似乎感到自己將不久於世，可他的屈辱還沒有完，同年6月，他的兒子李經方遵照洋柯士達的建議，替他的父親又向前邁了一步，在基隆會見台灣總督，獻上割台清單，中國領土台灣及其附屬島嶼、澎湖列島就這樣葬送了。
甲午戰爭後，使得列強瓜分華夏的狂潮驟起，也充分暴露了清廷及李鴻章的淮軍的腐朽性和中國海陸軍的不堪一擊。朝野上下紛紛指責“湘淮舊軍窳敝不可用”。湘淮舊軍雖然不堪一擊，可李鴻章創辦的天津北洋武備學堂卻留了下來，那裏培養了北洋宿將段棋瑞、馮國璋、王士珍、段芝貴、陸建章、王占元、張懷芝、曹錕、李純等人，也正是這些梟雄，給四分五裂的中國帶來更多的悲劇。
不過，北洋派真正的形成，還得說說上文提到過的袁世凱。
野心勃勃的袁世凱，少年並不得誌，因是無奈，投到淮軍統領吳長慶帳下，他在短時間內能從默默無聞的隨從一躍成為北洋派的領袖，倒也是事出有因。