李鴻章受命趕至北京。臨行前他提出，“割地與否，鴻章不敢做主”。戶部尚書翁同龢亦認為，割地不可行，不妨多賠點款。大學士孫毓汶則指出，割地議和乃唯一可行之道。光緒帝左右為難，向慈禧太後請命。慈禧卻以身體不適為由，拒絕表態。光緒帝無奈，授予了李鴻章“商讓土地”之權。次日，李鴻章請求帶上曾任駐日公使的兒子李經方隨同談判，得到允準。赴日前夕，李鴻章上折道：我會審時度勢，盡全力同日人辯爭，商定一個最為可行的條約。所做一切，隻要有利於國家，我甘願承受怨謗。
一位曆史學家這樣評價李鴻章的遠行：“炮口勒逼之下的委曲求和既是難事，又是汙名。但麵對‘日人方圖遠略，舉傾國之師，逼我和款，所索即奢，且不願遽和’的局麵，卻沒有一個人願為天下作計，分擔難事和汙名。‘諸人相對默默’正寫出了當初一腔義憤與如今一腔和心的對比。若以這些人作為反襯的景觀，李鴻章白發遠行的伶仃身形確乎顯出了挺拔和剛毅。”
1895年3月19日下午，李鴻章一行三十三人抵達日本馬關。
3月20日，雙方全權代表舉行首次會談，是為第一次談判。互換全權文憑之後，中方代表宣讀了擬請停戰的英文備忘錄，日方答以次日作覆。隨後，雙方轉入一般性的談話。李鴻章向伊藤博文婉轉地表達了乞和之願，他說：“在亞洲，中日兩國最為鄰近，且使用同一種文字，怎可自相殘殺？兩國應團結對外，反抗歐洲白種之民侵蝕亞洲黃種之民。”
3月21日，中日舉行第二輪談判，開始進入實質性的話題。
談判記錄如下：
李鴻章：日軍並未到達大沽、天津、山海關，為何條款規定占據此三地？
伊藤博文：議和停戰乃中方要求，為體現誠意，日軍需占領三地作為抵押。
李鴻章：駐紮此三處的中國士兵很多，日軍占據後他們到哪裏去？
伊藤博文：隨便去哪裏，隻須劃定兩軍界限即可。
李鴻章：天津的官員怎麼辦？
伊藤博文：這個問題以後再談。此議案你能照辦嗎？
李鴻章：這個問題關係重大，不能不談。天津是通商口岸，日本也要占領麼？
伊藤博文：可暫時歸日本管理。
李鴻章：三地均為險要之所，如停戰期滿議和不成，日本先行占據，豈不是反客為主？
伊藤博文：停戰期滿，和約簽訂，日軍馬上撤離。
李鴻章：中日兩國一衣帶水，貴國所定條款未免欺人太甚，是否還有其他解決辦法？
伊藤博文：別的辦法我們還沒想到！現在兩國相爭，中國忽然要求停戰，對日軍士氣大有妨礙，所以要先占據險要之地作為抵押，才不會吃虧。
李鴻章：我乃直隸總督，三地均歸我管轄。伊藤先生設身處地想想，我怎麼會答應？
伊藤博文：中堂為貴國考慮，要求停戰；我也從本國利益出發，隻有此法可行！
在抵押三地問題上，李鴻章堅決不肯讓步。雙方談判陷入僵局。李鴻章轉而提出先不討論停戰條件，雙方應直接切入和約談判。由於日本根本不想真正議和，一時拿不出和約草案，雙方商定三天後繼續談判。
這次會談結束前，李鴻章對伊藤博文說：“希望議和條款不要像停戰條件那樣苛刻。貴大臣應顧全大局，所擬和約應體諒本大臣力所能及之處。”伊藤博文弦外有音地說：“本大臣也願顧全大局，以有益於兩國長遠利益，隻是不清楚貴大臣以為如何！”
會談結束後，李鴻章立即給總理衙門發去電報，表示日本以三地為抵押的要求堅決不能答應；非但如此，還要在大沽、天津、山海關一帶嚴加戒備。
三天後的3月24日下午，李鴻章與伊藤博文舉行第三次會談。
伊藤博文一改往日的彬彬有禮，凶相畢露地提出：李鴻章必須無條件接受二人所訂和約，不經清廷批準就立即生效，否則戰爭會繼續升級。李鴻章道：“此事關係重大，希望您考慮到我權力有限，力所能及的可當場應允，難以實行的必須要由中國皇帝作出裁決。”說罷李鴻章向伊藤博文索要和約文本。
李鴻章：美國前總統格蘭特遊曆中國時曾對我言及，不可輕言戰事。我一直將這句話作為座右銘。此次與日本國開戰，貴大臣難道不知這並非我本意麼？