左宗棠親自兩次到宮巷請沈葆楨出山，沈葆楨推諉說“重孝在身”，不肯赴職。左宗棠知道沈葆楨有許多難處，便又奏請朝廷給沈葆楨有專事奏折權，“凡船政奏折無需經過巡撫衙門，仍由沈葆楨會臣領銜”。左宗棠第三次到宮巷，親口對沈葆楨說：“朝廷已特命總理船政，由部頒發關防，凡事涉船政，由其專奏請旨。其經費一切會商將軍、督撫，隨時調遣，責成署蕃司周開錫不得稍有延誤。”並推薦著名紳士、商人胡光墉（胡雪岩）相助；所有的原班人馬，都歸沈葆楨調遣。
清廷於1867年二月初一，朝廷諭旨沈葆楨“先行接辦”，“不準固辭”。於是沈葆楨服期未滿便出任“馬尾船政大臣”。左宗棠大喜說：“接辦之人，能久於其事，然後一氣貫注，眾誌定而成功可期，亦研求深而事理愈熟悉。此唯沈公而已。”
福州船政和創建福建水師故有“創自左宗棠，成於沈葆楨”之說。馬尾地方建祠紀念二人，稱二人均為“船政之父”。
左宗棠年長沈葆楨八歲，二人經曆、性情、做事風格頗為相似，沈葆楨為江西巡撫時曾協同曾、左作戰，並在一次重大戰役中確保了左宗棠軍的運糧通道安全，深得左宗棠讚賞。他舉薦沈葆楨繼承船政事業，主要是他看中了沈葆楨的能力。這也是左宗棠不惜三顧茅廬並鼎力舉薦他的主要因素。
沈葆楨雖多受林則徐儒雅之風的熏陶，但是做起事來，雷厲風行。他做事小事不馬虎：有人偷了外國人的汗衫，他認為此事有辱國格，將此人斬首示眾。船廠需要大量鐵皮，布政司主管售鐵的官員故意為難，索取好處費。沈葆楨抓個屬吏，以“阻撓國事，侮慢大臣”的罪名，斬首示眾。輕罪重判，小題大做，但殺一儆百，刹住歪風邪氣。做大事更是堅定不動搖：他宣稱“鐵甲艦不可不造，日本不可不防！”
沈葆楨上任後，把福州船政局定位為要自己建造兵船，達到中國在東亞的海軍霸主地位的目的。他的這個思路極具遠見。在“購置者權操於人，何如製造者權操諸己”的指導思想下，福州船政局的定位，一開始就是要能夠自己建造兵船。船政局主要由鐵廠、船廠和船政學堂三部分組成。沈葆楨采取“師夷長技以製夷”的做法，在胡雪岩的協助下聘請數十個英法科技人員，教中國員生學習造船、駕駛，卻不許這些外國人喧賓奪主。
福州船政局是當時遠東最大的造船廠，也是世界的第三大造船廠，把日本遠遠甩在身後。李鴻章讚其為“開山之祖”。當時一位英國軍官說，“這個造船廠和外國任何造船廠沒有多少區別。”
1868年1月18日，沈葆楨主持了第一艘木質兵艦“萬年青”號的龍骨安放典禮。該艦長76.16米，寬8.9米，吃水4.54米，排水量1370噸；配置由法國進口的往複式蒸汽主機，馬力150匹；順風航速15節，乘員100人，裝六門5.5英寸艦炮。“萬年青”號出海試航時，法國人總監工達士博要用外國人引航，於是多方出難題，沈葆楨置之不理，堅持“權操在我”，從管駕、引港到舵工、水手全用中國人，試航成功。
福州船政局建廠費用不40餘萬兩，每年經費每年60萬兩，1878年以後，積欠甚多以致造成經費短缺，生產困難。自1874年至1895年，生產萎縮，二十多年中共造船有鐵脅木殼兵船“威遠”，木質兵船“福星”、“鎮海”“飛雲”、“揚武”、“伏波”，鋼脅鋼殼魚雷快船“廣丙”、“福靖”等約20艘。
船政局雖然遇到了種種困難，但在造船技術方麵則逐漸有所提高。最初隻能製造150馬力以下的木殼，到1887年則製成第一艘鐵甲船，輪機也由舊式單機改為複合機，馬力由150增至2400，在中國近代造船史上，占有相當重要的地位。
擊退日本侵台陰謀
經過明治維新後的日本迅速走上軍國主義的道路，表現出對外極大的侵略性，它首先覬覦中國的台灣。
同治十三年（1874），日本以琉球船民漂流到台灣，被高山族人殺害為借口，發動侵台戰爭。5月10日，3600多日軍在台灣琅嶠登陸，7月，日軍以台灣的龜山為基地建立都督府，修築醫院、營房、道路，準備長期占領下去。
5月11日，清政府照會日本外務省，就日軍入侵台灣提出交涉，並隨後任命福建船政大臣沈葆楨為欽差大臣，兼理各國事務大臣，並授予他處理日本侵台事件的軍事外交大權，率兵船馳往台灣辦理海防，交涉日本撤兵事宜。由此，沈葆楨開始了他在台灣的近代化倡導之路。
6月中旬，沈葆楨帶兵渡海到達台灣。他審時度勢，向朝廷封提出四條鬥爭策略：一為“聯外交”。通過外交努力，孤立日本；二為“儲利器”。積極儲備戰艦、軍火等軍需物資；三為“儲人才”，請調了解台情、軍情的得力人才，協助謀劃；四為“通消息”，設法加強通訊設施，主張鋪設水路電線，以通電報。