1894年7月23日，日本政府終於“忍無可忍”。日軍攻入朝鮮皇宮，建立了傀儡政權。24日，朝鮮傀儡政權宣布對清宣戰。25日，日本軍隊在豐島海麵偷襲中國護航艦和運兵船，正式發動侵華戰爭。李鴻章最擔憂兩件事：一是北洋海軍缺乏優秀的軍事統帥指揮前敵；二是北洋艦隊幾年沒有添置新艦，防守有餘，進攻不足。李鴻章製訂了十六字方針：“嚴防渤海，力保沈陽，集中兵力，再圖大舉。”此戰略雖強調海防之重要性，卻忽略了遼東半島和山東半島，給戰爭的進行留下了嚴重隱患。
9月17日，北洋水師十一艘軍艦護送清軍在大東溝登陸後準備返航。途中遇到十二艘懸掛美國國旗的軍艦。突然，十二艘船艦上的美國國旗全部換成日本旗幟，向北洋軍艦發動襲擊。中國軍隊奮起還擊。雙方激戰了5小時，北洋艦隊損失慘重：五艦被擊沉，六艦負傷，死傷官兵千餘人。日軍有五艦受到重創，死傷六百餘人，並先行撤離戰場。
水陸兩線作戰清軍全部潰敗，一時議和輿論甚囂塵上。慈禧令戶部尚書翁同龢到天津同李鴻章商談和戰之事。翁同龢是當時主戰派的領袖，見到李鴻章後嚴厲責問其為何遲遲不肯發兵，以致貽誤戰機！李鴻章怒目而視，冷笑道：“翁師傅主管戶部，平時向您要經費時總遇冷臉，事到臨頭才來責問。我倒想問問您，那幾條軍艦能靠得住麼？”翁同龢反問道：“為臣者本應盡職盡責，為何不再向朝廷請求？”李鴻章答曰：“朝廷疑我飛揚跋扈，大臣彈劾我貪財舞弊，我若繼續索要經費，今天還有李鴻章麼？”翁同龢爭他不過，把話題引到戰局問題：“東北乃龍興之地，如果失守如何是好？”李鴻章坦白道：“奉天軍隊實靠不住，我鞭長莫及，東北防務一點把握都沒有。”半個月後，遼東半島淪陷，奉天危急！
而此時，北京城內歌聲悠揚，鼓樂衝天，正是慈禧太後的六十大壽。紫禁城和頤和園張燈結彩，喜氣洋洋，絲毫看不出戰爭的痕跡。“老佛爺”五十大壽時就因法國人作祟沒過好，這次可要好好慶祝一番。總管太監李蓮英下令，這段時間內凡可能令“老佛爺”不高興的事一律不準奏報！這一做法果然有效，慈禧下令，大赦天下，放假三天。李鴻章可沒閑著，前線救急電報雪片似的發來。李鴻章加緊了求和步伐：一麵派人以祝賀俄國新帝即位為名請求俄國出麵調停；一麵委托天津海關稅務司德璀琳赴日議和。李鴻章對德璀琳充滿期待，對外宣稱：如果德璀琳和伊藤博文談判順利，中日可先停戰，再議和。日本政府此時全無議和之意，認為德璀琳不符使者資格，拒絕與其談判。德璀琳在日本呆了幾天，連伊藤博文的麵也沒見著，覺得很沒麵子，便找個借口：“本日接到恭親王電報，說日本政府已承諾由美國政府來仲裁，所以本人沒必要在日本逗留，即刻返回中國。至於李鴻章的信函，我已在日本郵寄給伊藤伯爵。”隨後灰頭土臉地回到天津。日本報紙評論德璀琳此次斡旋是：“冒然而來，悵然而返，真是好生奇怪！”
李鴻章焦急等待德璀琳和美、德外交調解時，日軍連續攻陷金州、大連，向旅順猛撲。旅順口與威海衛隔海相望，是渤海門戶。日軍決定以“重大傷亡代價攻取旅順”。日軍攻占旅順後進行了慘無人道的屠城行動，全城僅留三十六人負責掩埋屍體。負責旅順船塢工程的龔照璵，金州失陷後逃回天津。李鴻章令其回旅順前線效力。然日軍進攻旅順時，他棄船廠於不顧，喬裝改扮混在士兵中逃跑了。當時人們編了“文官三隻手，武官四隻腳”的歌謠諷刺淮軍逃跑之快。李鴻章一生都以淮軍為榮，此次敗逃實使其遭受了不小的打擊。