同治九年七月二十六日，即公元1870年8月22日，兩江總督馬新貽到校場閱兵，校場就在總督署的右邊，有一條箭道連著校場和督署的後門。馬新貽閱兵之後，步行從箭道回督署，隨從們跟在他的後麵。這時，突然有人跪在道旁，請馬新貽資助，馬新貽低頭，見是同鄉的一個武生，便說道：已經資助兩次了，怎麼又來了？話還沒有落，突然右邊又有人大呼要伸冤，馬新貽和從人還來不及詢問，來人已一下子竄到了馬新貽身邊。說時遲，那時快，這人左手抓住馬新貽衣服，右手拿著的匕首迅速刺進馬新貽的胸膛。馬新貽隻說了一句“我已被刺，速拿凶手”，就再也發不出聲來。那刺客見大事已成，竟不逃不走，大聲喝道：“我張文祥也，刺馬獨我為之，無與他人事。今我願已遂，我決不逃。”隨從人等將張文祥抓住，再看馬新貽時，匕首入胸四寸，拔出時，已經彎曲，匕首上還敷有劇毒。莫說入胸四寸，便是刺進一寸，也很難存活。
堂堂兩江總督居然被刺，全國都為之轟動，並且成為中國近代史上的大案之一。因此審訊、偵破這一大案，成了曾國藩上任後的一大任務。 馬新貽是何許人？他是山東菏澤人，字穀山，道光二十七年（1847年）中的進士，分發到安徽任知縣。太平天國定都金陵以後，馬新貽也文官變武官，常率兵與太平軍、撚軍作戰。曾國藩任兩江總督以後，馬新貽也算是他的下屬，但並非湘軍係統。不知道馬新貽有什麼後台，他的升遷極為迅速。1847年中進士任知縣，很快就道員、按察使、布政使，到了同治三年也就是1864年，做到了浙江巡撫。同治六年當上了閩浙總督。同治七年即1868年曾國藩從兩江總督調任直隸總督，接任曾國藩空出來的位子的，居然是馬新貽。兩江總督是僅次於直隸總督的地方官，馬新貽幾年之內做到了可以與曾國藩平起平坐，可見他升遷之快。但是馬新貽並沒有這些年同樣升遷較快的左宗棠、李鴻章那樣的作為、能力，以及非常明顯的曾國藩的推薦，所以他的升遷，曾引起人們很多猜測。然而太平天國平滅不久，駐於太平天國作為都城十年之久的金陵的兩江總督這個官未必好當。1865年曾國藩奉旨剿撚時，朝旨命李鴻章署兩江總督，曾國藩就曾致函李鴻章說“此城過大，伏莽頗多，搶案層見迭出”，他一定要李鴻章到達金陵後才可以放心北行，並要李鴻章帶三四千軍隊護衛，說如此才能夠鎮撫這個地方。現在果然在馬新貽的任上出了事。
馬新貽死後，朝廷在上諭中便給馬新貽定了性：“馬新貽持躬清慎，決事公勤，由進士即用知縣，曆任繁劇。鹹豐年間，隨營剿賊，迭克堅城。自簡任兩江總督，於地方一切事宜，辦理均臻妥協。”又加太子太保，給予騎都尉兼雲騎尉世職，諡號為“端湣”。諭旨還命令設法將張文祥行刺的緣由，以及有無主使者等弄清。
曾國藩在京師拜見慈禧太後時，談起馬新貽被刺的事，兩人有這樣一段對話：
（太後）問：“馬新貽這事豈不新奇？”
對：“這事很奇。”
問：“馬新貽辦事很好。”
對：“他辦事和平、精細。”
曾國藩到兩江總督任之前，已經由暫署兩江總督的江寧將軍魁玉審訊張文祥，隻知道張文祥是河南人，並無主使之人，問題刺馬原因，卻又問不出個所以然來。而先前求馬新貽資助的武生與本案無關，已將其釋放。朝中言官連連上奏，說是堂堂一品（從一品）大員，國家重臣被刺，一定是有人主使，請嚴密根究，務得確情。朝廷先是特命漕運總督張之萬會同審訊，後來又派刑部尚書鄭敦謹專程來金陵會同偵訊。曾國藩抵達金陵的時候，張之萬已經先期到達，曾國藩便與他們一同辦理此事。
最後得出的結論是：張文祥曾參加太平軍，又與海盜相通。馬新貽任浙江巡撫時大力捕殺海盜，張文祥的海盜同黨大多被殺，他的妻子也被人搶走。馬新貽曾到寧波閱兵，張文祥曾呈文訴冤，馬新貽不準，因此心懷仇恨。張文祥又開小押店（當鋪），恰逢馬新貽出示禁止，斷絕了他的生活來源，所以便生出刺馬之心。並沒有人指使。
但是，這裏麵卻有不少疑點。戰爭中太平天國人員也好、撚軍人員也好，兄弟父子被殺的都很多，如果他們要報複，那麼曾國藩、李鴻章、左宗棠特別是攻占金陵的曾國荃，早就該被太平軍或撚軍的餘黨暗殺了，何以竟殺到了與太平軍和撚軍作戰並不重要的馬新貽身上？如果張文祥的海盜同黨被殺就懷恨馬新貽，那直接率兵打海盜的軍官他就不懷恨嗎？從張文祥精密設計，一擊而中，並且在刀上淬毒的情形看，如果不是有深仇大恨，或者懷抱特別的目的，怎會如此做？所以，人們的猜測非常之多。到舊曆十二月，竟有太常寺卿王家璧奏稱，據傳聞說，原江蘇巡撫丁日昌（時已丁憂在籍）之子被人控告，應歸馬新貽查辦，丁日昌曾向馬新貽請托求情，馬新貽未允，故有此案。意思是行刺可能為丁日昌主使，假使真的如此，那麼此案將會牽連丁日昌甚至提拔丁的李鴻章甚至曾國藩在內。清廷雖然不信，還是將王家璧所奏轉告曾國藩等人。 但是，曾國藩和鄭敦謹參預之後，仍然隻是上麵的結論。最後清廷命將張文祥淩遲處死，並在馬新貽的靈柩前摘心致祭。同治十年二月十五日，張文祥被殘忍地殺害。 官方的調查偵訊算是結束了，此案也被畫了個句號。但是，在民間，在野史裏麵，卻有很多關於張文祥刺馬的原因的說法流傳開來，並且與官方所公布的案情大相徑庭。
其中流傳最廣的說法是這樣的：張文祥是撚軍一位勇敢善戰的下級軍官，與另兩位撚軍軍官曹二虎、石錦標為莫逆之交。馬新貽在淮北率軍與撚軍作戰時，被張文祥和曹、石所俘。張文祥等見馬新貽是讀書人，便優禮以待之，並留在軍中。時間一久，張文祥等佩服馬新貽的學問，與之結為兄弟。馬新貽年長為兄，其次是曹、石，最小的是張文祥。馬新貽勸說張文祥等投降官軍，張文祥等便讓馬先回清軍中了解情況，當時安徽巡撫是湘軍大將唐訓方，唐準許馬新貽招降撚軍張文祥等，於是張文祥等投降，並用馬新貽字號中的“山”字，編為山字兩營，由馬新貽統領，張文祥等任營官。後來，馬新貽官越做越大，便逐漸與撚軍出身的張文祥等人疏遠。這還不算，曹二虎的妻子年輕貌美，為馬新貽所垂涎，借機會兩人私通起來。馬新貽常借故讓曹二虎出差，以便他與曹的妻子交往。但就算如此，張文祥也還不致對馬新貽如此懷恨。原來馬新貽自與曹二虎之妻私通後，便萌生了殺曹之意，張文祥已有所察覺，苦勸曹二虎不聽。不久馬新貽借口曹二虎原為撚軍，現在又有通撚的行為，命手下捕曹二虎，不經審訊立即殺害。張文祥得報立即遁逃，然後蓄誌為好友報仇。張文祥為報仇，打造兩把精鋼匕首，並淬以毒藥，每當夜深人靜時，便練習用匕首紮牛皮，最初隻能紮破一層，以後逐漸加厚，兩年以後，可以一舉刺穿五層牛皮。張文祥尋找機會數年之久，直至此時方得實現。府縣審訊時，張文祥把事情的經過原原本本道來，府縣為之驚愕。但報告按察使梅啟照時，梅說，若照此上報，於官場體麵太過損傷，於是將供詞改為海盜挾仇報複。等到曾國藩、張之萬審訊時，雖知事情的原委，但也為官場體麵，一直堅持海盜報複的說法。隻有鄭敦謹曾準備如實上報，但鄭為人比較懦弱，拗不過其他人，所以最後仍以海盜上報了事。
上一段說的是野史和筆記所記，有一定的道理，因為前引慈禧太後在曾國藩臨行前的一段話，已為官方對馬新貽的評價定了調子，曾國藩不能為此事對抗太後。然而事實的真相究竟如何，恐怕永遠也不會弄清了。
官方的調子雖然定了，但民間卻把張文祥看做俠士，看做英雄，而對被刺的馬新貽卻譏諷頗多。在張文祥被殺半個月後，就有人編出戲文，譏刺馬新貽，曾國藩已知曉此事並記在他的日記裏。尤其清末革命運動興起後，張文祥又被看成是反清英雄。民間為這頗具傳奇色彩的事件編有京劇、彈詞、話劇等，廣為傳播。張文祥刺馬遂成為晚清奇案和重大社會新聞之一。
二、整軍經武，致力自強
曾國藩此次任兩江總督，從接印起，隻有一年零三個月。在這一年零三個月的時間裏，曾國藩辦成了一件在近代中國很有影響的大事，那就是派出第一批官費留美學生。除此以外，就是為整飭軍備而努力，因為任職的時間太短，隻是提出了建設性的意見和辦法，還沒有顯露出效果。
這一年多的時間裏，曾國藩活動中留下了許多與軍備有關的記錄。
按照規定，各省督撫每隔一段時間，就要檢閱稽查自己省份內的軍隊。但是，江蘇省自道光三十年（1850年）以來，總督已有二十年沒有檢閱過軍隊了。這一方麵是由於對太平天國和撚軍的戰爭的影響，另一方麵也是綠營廢弛所致。曾國藩上任後，決定親自校閱軍隊。
從八月十二日，（9月26日）起，到十月十五日（11月27日），曾國藩用了整整兩個月時間查看各地軍隊，一路風塵仆仆，向北到了揚州、泰州、泰興、清江，一直抵達徐州，然後向南到鎮江、通州、海門、蘇州、鬆江、吳淞、上海等地，幾乎走遍了全江蘇省。檢閱的結果，令曾國藩十分擔憂。在這些軍隊中，有的部分使用了新式槍炮，而許多軍隊還在混用弓箭刀矛，或者舊式的鳥槍。江蘇綠營原定兵額為33400多人，現存隻有24200多，各營大多不足額。較為足額的綠營演練還算湊合，而不足額較多的營根本演不成什麼陣法。鎮江自古是戰略要地，太平天國後期，江南大營被徹底打垮，可鎮江卻一直在清軍手裏，就象在太平天國中間釘入的一個楔子。可現在鎮江三營加起來隻有620餘人，其中有一營隻有98人，操練就更不象樣子，曾國藩在日記中描述操練道：“真如兒戲！”這還是總督大人親臨，如果是平時，那情形可想而知。而江陰、靖江兩營合操隻有七十人，就連兒戲都不成。曾國藩最後的結論是：“緩急一無可恃。”（致劉蓉函）
閱軍過後，曾國藩如實向清廷奏報的情況。並提出幾條建議：
第一，分開差和操。綠營向來兼任許多與地方治安有關的任務，如護餉、押解罪犯、緝捕罪犯等，這實際上相當於今日的警察，那時沒有警察，這些事情就由綠營擔任。而綠營承擔這些任務，就要駐得極為分散。而操即軍事訓練，必須集中駐紮，受真正的軍隊約束，才能做到。而且軍隊必須時時操練，戰時才能打仗。然而另一方麵，綠營平時承擔的雜差也必須有人負責。這兩者構成了相當深的矛盾。曾國藩建議，將差兵和操兵分開，差兵宜駐得散，兵額少；操兵則宜集中駐紮，兵額宜多，編製應按營、哨的層層統轄製。從今天的眼光來看，這一建議的實質是將綠營徹底分為警察部隊和野戰部隊。警察的功能由警察部隊承擔（差），作戰功能由野戰部隊承擔（操）。曾國藩有豐富的作戰和組織軍隊的經驗，這一建議頗具合理性，雖然軍隊的名稱不變，但功能和性質變了，差、操各負專責，可以提高效率。今天的中國軍隊，野戰軍分為各大軍區，可以充分機動作戰；地方治安等任務自有警察；另有介於兩者之間的武裝警察部隊。如救災時，一般動員武裝警察部隊，除非象1998年那樣的大水災，一般不動用野戰軍，以利於軍隊的訓練。
第二，改變餉製。從前綠營旗營軍餉都過少，不足以滿足家庭生活開支，軍人隻好做些小買賣或小手藝糊口，很難參加訓練。現在直隸和江蘇的練軍都已加餉，但加餉而不裁綠營兵額，財政斷不可持久。所以應該加餉裁兵（綠營兵）。
第三，綠營各營的武器多為舊式鳥槍，在槍口裝火藥，遇風會吹散，遇雨會淋濕，實戰時非常不利。應該學湘淮軍，全改用子彈的洋槍。其他器械，也應改用西式的。
第四，水師兵丁現在還沿用從前陸兵的“馬兵戰守”之類的名目，今後宜改。而且水師官兵應住在船上，可以兼習陸戰，但不可分管陸地地段（即陸汛）。從前各省造戰船，不動用省財政，都用攤派、捐款等辦法，今後應該由官籌造船費用。
但是，提出這些建議後幾個月，曾國藩就已去世，來不及花大氣力整飭軍備。 曾國藩更為念念不忘的，是中國需要有一支自己的海軍。 能夠與列強爭衡大洋之上的海軍。
1870年初，江南製造局又新造成一艘輪船。1870年2月4日，輪船開到金陵，曾國藩親自驗看這艘新輪船。這艘輪船比他上次任兩江總督時造的第一艘恬吉（後改名惠吉）號已經有所改進，由明輪改成暗輪，動力也有所增加。然而比起外洋的新式輪船還要差得多，說明中國的造船業還任重道遠。 對於新式機器製造企業，曾國藩仍然非常關注。這次閱兵，曾國藩也到了上海，他就住在江南製造局裏，在上海的七天裏，除了閱兵和與各國駐上海領事禮節性的會見外，他主要的事情就是參觀和檢查製造局。他在船廠看到正在製造的第五號輪船（海安）。這艘輪船比以往的輪船有較大的改進，曾國藩記述說：“長二十八丈，高四尺許，偉觀也。”實際上，此船長300尺，動力為1800馬力，載重2800噸，有巨炮20門。在曾國藩的眼裏，這實在是個龐然大物。從上海回金陵的時候，他又順便把江南製造局造成的幾號輪船恬吉、測海、威靖都觀看、乘坐一回，並看這些船操演槍炮。
十一月二十六日（1872年1月6日），他又檢查金陵機器局，在金陵機器局看到新製的連發炮，他在日記中寫道：“閱新作之炮，三十六筒可以齊放，則三十六子同出如傾盆之雨；可以連環放，則各子繼出如撾急鼓。”
自湘軍攻占金陵以後，湘軍水師在與太平軍作戰方麵，已基本無用武之地，其後曾國藩裁撤湘軍，但基本保留了湘軍水師，並改為長江水師。但是，長江內河作戰與外海作戰完全是兩回事，長江水師根本無力在外海與列強艦隊爭雄。曾國藩也深知這個道理，他早想建立一支真正的海軍，並與丁日昌、李鴻章多次商議過，但是困難很多。自己造的船暫時還不如西洋的大而且堅固，若購買又當與太平天國和撚軍作戰剛結束民窮財盡之時，受財力限製。而曾國藩也明白，造船難，買船難，而船主（即海軍艦長）的人選更難。就連外海水師的士兵，長江水師的士兵都不能勝任，他設想選擇福建、廣東常到外海的民眾充當外海水師的士兵，這些人慣習波濤，勝過湖南等地的人。直到曾國藩去世，外海水師隻是處在探討階段，他的理想還沒能實現。
三、“日夜望死，憂見宗社之隕”
至少從考中進士做官開始，曾國藩便有一種澄清天下之誌。他創立湘軍，不僅要平滅太平天國，保衛儒家孔孟道統，還希望能夠帶出一批人才，改變日益衰朽的社會風氣，使政事等各個方麵都為之改觀。他在《原才》一文中寫道：