五十二年，江蘇布政使一職缺員，張伯行上疏推薦福建布政使李發甲、台灣道陳（王賓）、前任國子監祭酒餘正健，而皇上已將湖北按察使牟欽元提拔就任。不久，張伯行彈劾欽元將通海盜的罪犯張令濤隱藏官署中，請求逮捕治罪。令濤的哥哥元隆住在上海，造海艙，出入海洋，擁有大量資產，交接豪貴。趕上刑部下檄文搜緝海盜鄭盡心餘黨，崇明水師捕住一條漁船，此船的主人是福建人，卻假冒華亭籍，經過查驗船照，知是元隆所代領。張伯行準備一追到底，當時令濤在噶禮府內任職，元隆托病逃避逮捕，案子未結卻死於家中。噶禮先前彈劾伯行，曾抓住這件事作為七條罪狀之一。正巧上海縣百姓顧協一起訴令濤占據他的房屋，另外還有幾處水寨窩藏海賊，聲稱令濤現在居住在欽元官署中。皇上命總督赫壽調查審理，赫壽庇護令濤，以通賊事查無實據而上報。皇上又命張鵬翮及副都禦史阿錫鼐調查此案，張鵬翮等奏報元隆、令濤都是良民，請求奪去張伯行的官職。皇上命複查，並讓張伯行自己陳述。伯行上疏說：“元隆通賊，雖然上報已死，然而他財產豐厚，黨徒也多，人人可以冒名，處處可已領到執照。令濤是顧協一首先告發的，如果顧協一舉報不實，照例應以誣陷治罪。由於欽元庇護，致使此案久懸未決。我作為地方長官，應該在事情剛剛發和時即加以防止，怎能不追究呢？”張伯行解任之後，張鵬翮等仍以他誣陷良民，挾私報複，要求斬首。刑法部門討論同意這一建議，而皇上卻免了張伯行的罪，調他到京城來。
不久，張伯行到南書房任職，兼代理倉場侍郎，並充當順天鄉試的正考官。後授為戶部侍郎，兼管錢法、倉場，又充當會試副考官。雍正元年，提升為禮部尚書，皇上賜他“禮樂名臣”的匾額。二年，皇上命令他到闕裏崇聖祠進行祭祀活動。三年，去世，七十五歲。張伯行留下遺疏，請求推崇儒學，獎勵直臣。皇上悲痛悼念他，贈太子太保，諡清恪。光緒初年，準許附祭於孔子廟。
張伯行剛成進士時，回家鄉南郊建造了一座精製的房屋，擺上了數千卷書以供縱情觀覽，看到《小學》、《近思錄》，以及程、朱的《語類》，說：“進入聖人的門庭在這裏呀！”他曾全力找到宋代理學四大學派周敦頤、程顥、程頤、張載、朱熹各位大儒的書，一邊誦讀一邊抄錄，前後共七年。最初任官時曾說：“聖人們的學問，概括為一個‘敬’字，所以學習沒有比掌握敬更重要的。”因此他自號為“敬庵”。又說：“君子懂得義，小人隻知利。老子貪生，信佛的人怕死，烈士追求名聲。這都是屬於利。”在官時所招致的，都是學問醇正、誌向操行清廉的人，而且開始不讓他們知道自己是做官的。平時對於意見不合的人，也仍與他們共事，開誠布公，同心協力，沒有一點怨恨。他說：“已得到皇上的保全，怎敢以私而廢公呢？”所著鬱困學錄入《續錄》、《正誼堂文集》、《居濟一得》各種書。
【原文】
張伯行，字孝先，河南儀封人。康熙二十四年進士，考授內閣中書，改中書科中書。丁父憂歸，建請見書院，講明正學。儀封城北舊有堤，三十八年六月，大雨，潰，伯行募民囊土塞之。河道總督張鵬翮行河，疏薦堪理河務，命以原銜赴河工，督修黃河南岸堤二百餘裏及馬家港、東壩、高家堰諸工。四十二年，授山東濟寧道。值歲饑，即家運錢米，並製棉衣，拯民饑寒。上命分道治賑，伯行賑汶上、陽穀二縣，發倉穀二萬二千六百石有奇。布政使責其專擅，即論劾，伯行曰：“有旨治賑，不得為專擅。上視民如傷，倉穀重乎？人命重乎？”乃得寢。四十五年，上南巡，賜“布澤安流”榜。
尋遷江蘇按察使。四十六年，複南巡，至蘇州，諭從臣曰：“朕聞張伯行居官甚清，最不易得。”時命所在督撫舉賢能官，伯行不與。上見伯行曰：“朕久識汝，朕自舉之。他日居官而善，天下以朕為知人。”擢福建巡撫，賜“廉惠宣猷”榜。伯行疏請免台灣、鳳山、諸羅三縣荒賦。福建米貴，請發帑五萬巿湖廣、江西、廣東米平糶。建鼇峰書院，置學舍，出所藏書，搜先儒文集刊布為正誼堂叢書，以教諸生。福州民祀瘟神，命毀其偶像，改祠為義塾，祀硃子。俗多尼，鬻貧家女，髡之至千百，伯行命其家贖還擇偶，貧不能贖，官為出之。