19世紀60年代，處於內外交困的清政府，為了應付日益嚴重的內政和外交形勢，采納了曾國藩、左宗棠、李鴻章、沈葆楨等“有識之士”的建議，開始著手創立采用新式戰艦和西方管理、訓練方式的近代海軍。
1867年（同治六年），清朝閩浙總督兼福州船政大臣沈葆楨在福州馬尾建立福州船政局，“購機器，築船塢”，製造船艦，是“中國海軍萌芽之始”。同時，李鴻章在上海著手籌建江南製造總局，準備製造船炮。
到1871年（同治十年），共造出“惠吉”等兵艦6隻。製造這些艦船，從原料到工匠都來自外國，造價高昂。為了盡快建成海軍，李鴻章又提出造船不如買船的主張。認為“在外國定造更為省便”。
1874年（同治末年），日本借口台灣牡丹社番民殺害琉球船民而出兵侵台，大清朝野上下俱為震動。
李鴻章於1870年（同治九年）繼曾國藩出任北洋大臣，駐節天津。上任伊始便碰到日本派專使來華，要求與歐美各國相等的“條約權利”，李鴻章為之愕然。
1874年在日本又發起挑釁，又在台灣登陸，得知日軍侵犯台灣消息後，李鴻章急調淮軍精銳部隊6000人直赴台灣。日軍由於不服台灣水土，士兵病死較多。日軍不能立即軍事占領台灣，於是轉而用外交手段解決問題。最終清政府與日本政府於10月31日簽訂《北京專條》，清政府付給“日本國從前被害難民之家”撫恤銀10萬兩和日軍在台“修道建房等”40萬兩，日軍這才從台灣全部撤走。
對日本蠢蠢欲動的野心，李鴻章由此時有了更為清醒的認識，決心自建海軍禦侮。李鴻章明白了當下大清最可怕的敵人不是海外的西方列強，而是新興的日本，他知道清日遲早必有一戰，他開始未雨綢繆。李鴻章奏請朝廷解散所有舊製水師而迅辦新式海軍。
從1874年（同治十三年）開始，清政府加快了籌建海軍的步伐。同時，江蘇巡撫丁日昌提出《海洋水師章程》6條，建議購買和製造大型兵艦，選擇沿海險要地帶修築炮台，編練水師，精選優秀人才到海軍任職。並建議於沿海建立北洋、東洋、南洋3支艦隊。
北洋負責山東、直隸沿海防務；東洋負責浙江、江蘇沿海防務；南洋負責廣東、福建沿海防務。每支水師各設大兵艦6艘，快艇10艘。3支艦隊成軍，即可將北自直隸灣，南達廣東的漫長海岸線的防禦“聯為一氣”。
但由於清政府經費困難，同時建立3支水師，力量不及，遂決定先在北洋設立水師一軍。1870年（同治九年），清政府派李鴻章為北洋通商事務大臣，督辦北洋海防事宜；派沈葆楨為南洋通商事務大臣，督辦南洋海防事宜。並擬由粵海關、江海關和江蘇、廣東、福建、浙江、江西和湖北等省厘金內提取銀400萬兩，作為海軍經費。
然而事實上，北洋艦隊建設之初，每年用度不過120萬兩。400萬兩海軍經費預算巨款，打了3折。其他280萬兩到哪裏去了？官場慣例，其中的貪汙腐敗，李鴻章久經宦途，自然知道，而且他也沒有辦法。
不過，即使120萬兩，李鴻章也可以有一番大作為了。
從1874年（同治末年）起，李鴻章靠著這120萬兩海軍經費，苦心經營，終於建立了一支像模像樣的北洋海軍艦隊，當時號稱世界第八位。
詳細的情況是：
從1875年（光緒元年）7月起至1877年（光緒三年）6月止，海軍經費統歸北洋支配；從1877年7月起，海軍經費南北洋各得一半。清政府希望用10年的時間，完成北、東、南洋艦隊的組建。
1879年（光緒五年）沈葆楨去世。此後，海軍籌建大權統歸李鴻章。李鴻章在天津設立水師營務處，負責辦理海軍事務。1885年（光緒十一年）中法戰爭中，福建水師在馬尾海戰全軍覆滅後，清政府官僚中要求購買外國鐵甲艦的呼聲日高。清政府也痛感西方列強恃其船堅炮利橫行四海。於是，下決心以購買外國兵艦來擴建海軍。
1885年10月13日，清政府發布設立海軍衙門的決定。海軍衙門的設立，標誌清政府籌建海軍的活動，進入了一個新階段。
海軍衙門設立後，清政府本著重點辦好北洋艦隊的方針，全力支持李鴻章籌建北洋艦隊。早在1880年（光緒六年），李鴻章就通過駐德大使李鳳苞向德國弗爾幹造船廠訂造鐵甲艦2艘，取名為“定遠”“鎮遠”。委派劉步蟾、魏瀚、陳兆翱、鄭潔濂等赴德監造。德國在製造過程中，偷工減料，被揭發後，重新修整。直到中法戰爭後的1885年（光緒十一年）7月3日，兩鐵甲艦才由德國溪耳海口起航，11月駛抵中國天津。與此同時，經李鳳苞購買之“濟遠”艦，也同時到達中國。
1887年（光緒十三年），李鴻章在英國訂購之“致遠”“靖遠”及在德國訂購之“來遠”“經遠”等4艘快速巡洋艦，經由英國教官琅威理（CaptainLang）和北洋海軍管帶（艦長）鄧世昌親赴驗收駕駛回國。11月抵廈門，次年春抵天津。以上從英、德兩國所購7艘艦船，共耗銀800萬兩。