此時，上海道道員丁日昌給李鴻章寫信，告訴他：上海虹口有一個外國人的鐵廠，能修造大炮、洋槍及輪船，外國人願意出售，要價10萬兩。李鴻章頗願買下，但經費拮據，哪來的10萬兩巨款？正好有個充任過海關道翻譯的人叫唐國華，曾被革職，他願意拿出現銀4萬兩贖罪，以圖啟用。李鴻章立即上奏清廷，力主做成這兩樁買賣。經過多方努力，上海機器製造局於同治四年五月（1865年6月）成立。局址在今天上海市虹口區九龍路、溧陽路沿江一帶。
江南製造局分幾個部分（分廠）：一是製造槍炮的軍火工廠，二是製造輪船、修理船舶的船廠，三是煉鋼廠，四是火藥廠，五是機器製造廠。它逐步發展成了一個大型的綜合工廠，在當時的中國，可算是獨一無二的。除此之外，該局還附設了譯書局，專門翻譯外洋書籍。全局占地700餘畝，頗具規模。
自同治六年（1867）至光緒二十年（1894）的27年間，該局共生產各種槍支51285支，大炮585尊，水雷563枚，炮彈12萬多顆。這些武器彈藥除供應淮軍之外，還供應南洋係統及各地的炮台、軍艦，各總督所轄地區的軍隊。這些產品由政府統一調撥，不具有商品性質。該局的軍火生產也不以贏利為目的。
江南製造局從一開始便專設了一個分廠專門製造輪船。曾國藩、李鴻章等認為，以往輪船都向外洋購買，長期下去，中國永遠不會掌握造船技術。他們決心自己設廠製造。
同治七年（1868）八月十三日，江南製造局自製的第一般輪船下水，曾國藩親自命名為“恬吉”。這艘船長18丈5尺，寬2丈7尺2寸，392馬力，載重600噸，船身為堅木製成，顯然比較落後，但它畢竟是中國自製的第一艘輪船。曾國藩十分高興。是日上午9時許（已正2刻），恬吉輪下水，在吳淞口試航，入大海，至舟山而回；後來，又上溯至南京下關，曾國藩親自登上輪船，駛往采石磯，再返回下關，前後2小時。曾國藩高興地說：“中國自強的根基，也許就在這裏吧！”他充滿了希望。當時，李鴻章正在山東前線，沒有親自看到這艘船下水，但他也是興奮不已。
中國自造了第一艘並不先進的船，但卻引起了各方的關注。英國領事向國內作了彙報，各外文報紙紛紛報導，連深居九重的慈禧太後也表示了關心。這年12月曾國藩去京朝覲時，慈禧還專門詢問了有關情況。
撚軍鎮壓下去之後，李鴻章任湖廣總督，後又調任直隸總督。他始終對江南製造局予以過問，特別對造船的事比較重視。自同治八年（1869）到光緒十一年（1885）該局又先後造成了操江、測海（1869）、威靖（1870）、海安（1873）、馭遠（1875）、金甌（1876）、保民（1885）等幾艘輪船。其中海安後改名為海宴，因為李鴻章的父親叫李文安，“安”字犯了諱，一個姓馮的道員為討好李鴻章，作了更改。海安號和馭遠號都為1800馬力。李鴻章在給清廷的奏章中說：“這種船在外國屬第二等，在中國則是頭等的了。”這種船還是木質。光緒二年之後所造的金甌和保民兩船則改為鐵甲了，可惜自保民號下水之後，再也沒有造過一艘新船。
尤其值得一提的是，江南製造局還生產了一批機器。自1867年至1904年，該局生產的機器有車床（138台）、刨床（47台）、鑽床（55台）以及挖泥船、翻砂機、起重機（84台）、抽水機（77台）等，其種類達五六十種。這些機器有一部分運到天津，北洋大臣崇厚就利用這些機器，創辦了天津機器製造局。李鴻章上疏時頗為得意地說：“製造機器一事，為今天抵禦外侮的資本、自強的根基。”
為製造槍炮、輪船、各種機器，江南製造局還開辦了煉鋼廠。這是舊中國鋼鐵工業的肇始。光緒十六年（1890），江南製造局總辦劉麟祥在報告中說：“造槍炮所用的鋼料，全部從外洋購買，價格昂貴，運輸不便，很不合算。而且，平時往來運輸縱然不便，還沒有阻礙，一旦爆發戰爭，海路阻塞，輪船就無法進碼頭，中國內地又買不到，這樣就不能不停工待料，以致貽誤軍事。這件事關係重大，所以，請求自煉鋼鐵。”這個要求自然也反映了李鴻章的思想，得到了清廷的批準。於是，向英國購買了高爐等，同年開始生產。
自光緒十六年起，該局鋼產量不斷增加。光緒十七年（1891）僅產10噸鋼，十八年達63噸，二十年達342噸，最高的光緒二十三年（1897）產2059噸。這個數字今天看起來未免少得可憐，但百餘年前卻是一件了不起的事。中國終於煉出了自己的第一批鋼材，這是李鴻章的前人們所沒有做過的事。