沈葆楨還以“理諭”、“設防”、“開禁”為處理原則，一方麵積極向日軍交涉，勸其撤軍；一方麵招募兵勇，添置軍械，著手布置全島防務，增調淮軍精銳武毅銘字軍13營6500人入台，建築炮台，積極備戰。以揚武、飛雲、安瀾、清遠、鎮威、伏波六艦常駐澎湖，福星一號駐台北，萬年一號駐廈門，濟安一號駐福州。清政府也相繼運來洋炮20尊，洋火藥4萬磅，火藥3萬磅，做好用武力將日本軍隊趕出台灣的準備。這些措施漸次推展開來，對日軍已形成關門打狗之勢。形成相當的聲勢，使日軍有所顧忌不敢輕舉妄動。
這時，台南南部惡性瘧疾流行，侵台日軍因氣候炎熱，水土不服，疾疫流行，每日死者四五名至數十名，士氣極其低落。在進退維穀、內外交困的形勢下，日本不得不尋求外交解決的途徑。日本刻意散布台灣是無主之地的謠言，遭總理衙門駁斥。沈葆楨也早已識破日本人的詭計，告訴李鴻章說：“若以生番與中國無幹答之，則正入彼族之圈套。”中國方麵義正詞嚴地宣稱：“台灣住民雖生番散處深山，文教或有未通，政教偶有未及，但居我疆土之內，總屬我管轄之人，其地土實係中國所屬。合台郡之生番，無一社不歸中國者。”後經英、美、法三國出麵調停下，雙方外交交涉，清政府對日妥協，於10月31日與日本簽訂了《中日台灣事件專約》（《北京專約》），同意付給日本撫恤銀10萬兩，軍隊花銷補償銀40萬兩。12月，日本軍隊全部撤出台灣。
在交涉中，沈葆楨堅持不同意朝廷給日本的賠償要求，他奏稱：“倭備雖增，倭情漸怯，彼非不知難思退，而謠言四布，冀我受其恫喝，遷就求和……倘妄肆要求，願堅持定見，力為拒卻。”沈葆楨又致書李鴻章：“我既以逸待勞，以主待客，自不必急於行成。”
受此事件的刺激，大學士文祥說：“夫日本乃東洋一小國耳，新習西洋兵法，僅購鐵甲船二隻，竟敢借端發難。”
日本入侵台灣是對中國在台灣的主權和領土完整的一次挑戰，對中國來說，這是一次嚴重的邊疆危機。日本侵台之役給清政府最大的教訓是，使它認識到自己的海防空虛，必須急起補救。光緒元年（1875）四月，清廷發布上諭，派李鴻章督辦北洋海防事宜，沈葆楨督辦南洋海防事宜，籌建新式海軍，中國近代海軍的建設從此走上軌道。
通過與日本的交涉，沈葆楨感覺到中日之間直接對峙之勢在東南沿海已經形成，他發出“東洋則終須一戰”，“倭熾可憂”的預警。
開啟台灣現代化進程
日本侵台使清廷認識到，“欲鞏固海防必先鞏固台灣，欲鞏固台灣必先建設台灣”。中央政府的治台策略由此發生了曆史性變化，台灣的近代化過程也由沈葆楨治台開始。
沈葆楨治台之第一策是改革台灣行政區劃。由原來的1府4縣3廳調整為2府（台北府、台灣府）8縣4廳。形成了至今沿用的行政區劃形式。
第二策是開山、“撫蕃”。開山即打通台灣前山後山之隔絕狀態。所謂“撫蕃”，即實行漢化計劃，包括選土目、查蕃戶、定蕃業、通語言、禁仇殺、設“蕃學”、修道路、易冠服等。
第三策是表彰鄭成功等人激勵民心。沈葆上奏朝廷，建祠祭祀包括南明死臣114人在內的前朝名人。朝廷允之，並追諡“忠節”。沈葆楨親自書寫對聯曰：“開萬古未曾有之奇，洪荒留此山川，作遺民世界；極一生無可如何之遇，缺憾還諸天地，是創格完人。”
第四策是推行“自強新政”。新建炮台，加強台灣海防。為此，還在閩台間設置輪船，以便航運，並用先進方法開采煤礦。
在台一年多時間，沈葆楨“此次之善後與往時不同，台地之所謂善後，即台地之所謂創始也”的論斷，被曆史證明是晚清少有的遠見卓識之語。沈葆楨以非凡的魄力在台灣開創了一個全新的局麵，為日後台灣正式建省奠定了良好的基礎。李鴻章給他的信中說道：“我公在彼開此風氣，善後始基，其功更逾於掃蕩倭奴十萬矣。”
光緒五年（1879）十一月，59歲的沈葆楨病逝於兩江總督任上。清政府贈太子太保，諡文肅公，入祀賢良祠，並準在江西及各立功省分建專祠祭奠。
沈葆楨把自己的全部生命奉獻於國家的禦外壯舉中，彌留之際他牽掛的事情仍然是憂國憂民，他再三叮囑：“倭人夷我屬國，虎視眈眈，凡有血氣者，鹹思滅此朝食……臣所每飯不忘者，在購辦鐵甲船一事，今無及矣。而懇懇之愚，總以為鐵甲船不可不辦，倭人萬不可輕視，伏望皇太後聖斷施行，早日定計。”
就在沈葆楨去世的這一年，曾是明王朝、清王朝藩屬的琉球王國被日本正式吞並了，並改名為衝繩縣。一腔熱血愛國家的沈葆楨不在了，不知道日益腐朽的清王朝還有誰曾為之怒發衝冠扼腕歎惜。