《馬關條約》簽訂後，李鴻章政治上失勢。清廷革去其直隸總督、北洋大臣之職，徒留文華殿大學士虛銜。日本在東北勢力的急劇膨脹，引起了俄國的警惕和擔憂。俄國政府借1896年5月26日沙皇尼古拉二世加冕典禮的機會向清政府發出邀請，希望能派員參加，更重要的是，借機討論如何限製日本在中國東北的利益。李鴻章當時賦閑在家，且是親俄路線的堅決擁護者，自然是出使大臣的最佳人選。清廷決定派使團赴俄，順訪英、法、德、美等國。
1896年，李鴻章已是七十四歲高齡的老人。臨行前家人恐其不測，專門準備一副楠木棺材隨行。李鴻章使團一行除其子李經方、李經述外，還有兵部主事於式枚、洋員德國人德璀琳、總稅務司英國人赫德的弟弟赫政、英國醫生伊爾文等人。
4月30日，李鴻章一行抵達俄國聖彼得堡。李鴻章並未安排在國賓館住宿，而是住在一位名叫巴舍夫的商人家中。巴舍夫是俄國著名的巨商，富比王侯。李鴻章到巴舍夫私邸時首先看到的是一座中式大牌樓，上麵插滿龍旗，中間竟鑲嵌著李鴻章的照片。李鴻章受到了巴舍夫一家最隆重的接待。財政大臣維特負責全程接待李鴻章一行。維特是第一次世界大戰以前歐洲最為傑出的外交家之一，可見俄國政府對中國使團的重視。維特尤其注意在細節上照顧這位風燭殘年的老人。按照外交慣例，公開場合吸煙極不禮貌。維特考慮到李鴻章吸煙的習慣，每次專派兩人伺候，將點燃的香煙送到他口中。在俄期間，沙皇尼古拉二世兩次秘密召見李鴻章，親自與其談判簽約一事。5月26日，尼古拉二世舉行加冕典禮，李鴻章前往祝賀。次日，各國顯要都入宮慶賀。李鴻章被安排在首席賀臣的行列中，同英國皇太子、德國親王、日本皇弟等人平起平坐，可謂風光一時。
不久，李鴻章與俄國政府秘密簽訂條約，史稱《中俄密約》。其主要內容有：一、中俄兩國遇有戰事，互相援助；二、中俄兩國不得私自同敵國定立和約；三、如遇緊要戰事，中國所有口岸允許俄國軍艦駛入；四、中國允許俄國修築一條從黑龍江、吉林到海參崴的鐵路等。
1896年6月13日，李鴻章抵達德國首都柏林。德國人對李鴻章的隆重禮遇，恰巧和十幾天後來德國訪問的日本外務大臣山縣有朋形成鮮明對比。倫敦記者就此事采訪山縣有朋，問及是否會因待遇不同而嫉妒李鴻章。山縣有朋說：“中國乃大國，李鴻章又是舉世聞名的人物，德國舉行盛大儀式歡迎他是應該的，我不會嫉妒他。”李鴻章受到的待遇果然不同尋常。德國人充分考慮到李鴻章的喜好，房間茶幾上擺著雪茄煙，庭院長廊中掛著畫眉鳥。德國人之所以如此接待李鴻章，其實也有自己的如意算盤，即希望中國能夠從德國訂購大批武器。不料李鴻章在德發表聲明，此次德國之行，的確見識到德國製造業的發達。回國之後，我會向皇帝報告，今後有機會定來德國采購軍火。德國人方才明白，李鴻章並非為購買軍火而來。英國媒體報道了德國人的失望情緒：“李鴻章走了，現在不知有所收獲的是誰？黃金雨不降，白玉雪不飛，我們如同做了一場夢！他要走了，我們的夢才醒了。這真是自尋煩惱，自作自受啊！”
6月16日，德皇在新建的皇宮設宴接待李鴻章。宴會結束後，德皇邀請李鴻章閱兵。隻見德軍陣式變化緩急有序，李鴻章由衷地說道：“我如果能有這樣的十個營，甲午一戰就不會敗給日本。”
李鴻章在國際外交界素有“東方俾斯麥”之稱。來到德國，當然要見識一下真正的俾斯麥。李鴻章下榻的德國行館，牆上即並列掛著李鴻章和俾斯麥的大幅照片。倫敦《中國新聞報》報道說，“此次李鴻章垂老遠遊，來到德國，俾斯麥亦早聞李鴻章大名，兩人機緣巧合一處，怎能不見麵”？
6月17日，李鴻章與俾斯麥會麵了。李鴻章身著黃馬褂，俾斯麥則胸佩大十字寶星，頭戴禦賜王冠。李鴻章先作揖為禮，兩人握手致意。坐定後，李鴻章向俾斯麥問候：“賢王身體可好？”俾斯麥答：“夜裏總是難以入睡。”李鴻章切入正題，道：“此次前來，有一事請教。欲複興中國，何道善之？”俾斯麥答：“承閣下相問，可惜兩國相隔太遠，我對貴國政務一無所知，實在無法明斷。”李鴻章又問：“何以圖治？”俾斯麥道：“以練兵為立國之基，舍此別無良策。兵貴在精而不在多，五萬足矣。”俾斯麥從德國經驗出發，認為軍隊不必超過五萬。他以己度人，果真中國僅有五萬軍隊，豈不鬧出笑話！李鴻章著實感歎：“挑選五萬精兵絕非難事，然中國缺乏教授軍事之人。二十餘年，鴻章處心積慮建設國防，哪知甲午一戰全軍覆沒，真好生慚愧！”吃罷晚餐，二人合影留念。李鴻章給俾斯麥留言道：“仆聞王盛名十餘年，不過如空穀之應聲耳，今乃覿麵見之，直如劍氣珠光，不敢逼視。”