江南製造總局創辦後，數年之間就造出輪船四艘，洋槍、大小開花炮、樣火箭等數千件。
李鴻章說：江南製造局是中國最大的軍工廠。
沈葆楨說：凡直隸督臣和江南各省使用的武器，都是由江南製造局提供的。
端方說：江南製造總局製造的槍炮彈藥比以前有很大進步。槍炮、子彈、煉鋼等廠成效昭然。
盛宣懷說：金陵、天津、福州、廣州、漢陽等廠的興起，都借鑒上海製造局的成規，是它開的好頭。
可見江南製造總局在中國近代軍事工業中的重要地位和作用。
江南製造總局最重要、也是曾國藩和李鴻章最關心的工廠是輪船製造廠。江南製造總局成立後，先是購買了擁有較為先進機器的鐵廠，後又陸續添置了大船塢等一係列造船設施。曾國藩並特意奏請江海關的一成洋稅作為江南製造總局輪船製造專用經費，正式雇傭了洋工匠開始造船。江南製造總局的造船廠分為三個部門，分別生產船殼、鍋爐和汽機，用三個洋工匠作為三個部門的領工，再配置幾百華工協助和學習。
1868年，江南製造總局造出了中國近代的第一艘大型新式兵輪。它長十八丈五尺，寬二丈七尺二寸，牽引力392馬力，載重600噸，船身由堅木製成，內部機器係國外的舊機器休整後使用，而汽爐和船殼則是由總局自己製造的。曾國藩為之命名“恬吉”。繼“恬吉”之後，江南製造總局幾年之內幾乎每年都有一艘新船下水，“操江”、“測海”、“威靖”、“海安”、“馭遠”、“金甌”等兵船陸續問世，其中最大的達1900馬力，載重2800噸。李鴻章在給朝廷的奏折裏驕傲地說：這些船在外國屬於二等，但在中國屬於頭等的了。
然而，不久李鴻章就發現了其中的問題。在19世紀的國際造船業中，江南製造總局生產的輪船無論從樣式、性能、功用和成本等方麵都大大落後於國際同行業的水平。李鴻章說：江南製造總局製造的輪船隻能載十來尊大炮，樣子雖然像新式的兵船，可是比起外國兵船的堅利差得遠。福建、上海附近的兵船，裝載量還不如商船多，行駛速度也不如商船快。
又說：我們現在所造的船，都是西方國家淘汰的舊樣式，平日無非巡防，遇到國家有事，隻能運送些糧草兵員，到洋麵上去打仗是不可能的。
更讓李鴻章不滿意的是，這些性能不怎麼樣的船，成本卻極高。當時中國造船業不僅缺乏技術人才，而且與造船業配套的其他工礦業發展都跟不上。也就是說，江南製造總局不僅雇傭洋人做指導，而且一切造船材料都從國外進口。等於把西方的造船廠搬到了中國。由此發生的運費、關稅、洋人的高薪，使得在中國造一艘舊式船的錢比從外國直接購買一艘新式船的錢還要多。李鴻章致沈葆楨的一封信中說：我們這裏的招商局從英國購買了三艘輪船，艘艘裝貨多、用煤少、速度快，每艘七八萬到十萬不等。而上海等地輪船製造廠造的船，每艘船少說也得十萬兩以上。我們從外國廠家定購的新式康邦機器150馬力的輪船，隻要十幾萬兩銀子，上海製造的舊式機器50馬力的輪船，僅工本費和員工薪金合算起來就要三十萬兩銀子。
簡直是說造船不如買船。大輪船製造不出，小輪船質量差、無法下海，成本又高，江南製造總局知難而退，幾年之後停止了輪船生產，把精力主要集中在槍炮生產上。槍炮和彈藥的生產成了江南製造總局最主要的業務。
其實，輪船生產中存在的問題在槍炮的生產中同樣存在。機器設備的簡陋、技術人員的不足、資金的缺乏，始終是江南製造總局的大問題。這些問題直接導致了江南製造總局的任何產品都不能緊跟時代。如總局成立之前，世界通用美國林明敦槍，中國每年要向國外大量購買。江南製造總局以美國林明敦槍為主要仿造目標，經過無數次的失敗和試驗，終於成功，所產槍支不但在外形上和林明敦槍完全一樣，性能上也相差無幾。但人們幾乎還沒來得及高興就發現，就在他們研製林明敦槍的時候，國際上的製槍技術又有了大的改良和發展，林明敦槍已經變成了陳舊的樣式，瀕臨被淘汰的邊緣。江南製造總局千辛萬苦研製出來的林明敦槍，軍隊各營不願意要——太過時了，派不上用場！李鴻章無奈地說：各國都有新式的後膛槍問世，林明敦槍已經成了武器中的中下之品。