但是不久，金朝滅亡，他得知真定等路萬戶侯史天澤愛民惜才，招撫金朝遺老。就北上真定，投奔了史天澤，隨著史天澤參加了滅南宋的征戰。
有一次，史天澤率兵攻城，糧草不濟，有幾個士卒星夜出逃找糧食，結果被抓住，史天澤曆來治軍嚴明，一怒之下，下令誅殺逃兵。張德輝要求讓逃兵申訴，結果逃兵說：“我們明知史大帥治軍嚴明，士卒不忍心大帥挨餓，所以逃出去偷百姓的莊稼，還沒回營，就被發現。”史天澤大為感動，自然赦免了士兵。
後來，在光州蓽山一批農民占山為王，聚寨固守，史天澤商議如何進攻剿滅。張德輝主動請求上山招降，他深入山寨，曉之以理，勸農民軍投降，使得此事件不殺一人而平息。
經史天澤舉薦，忽必烈召見張德輝。問道：“孔子死了這麼多年了，如今他的德行怎麼還在呢？”張德輝說：“聖人與天地同在，與日月同輝。殿下如果能夠行聖人之道，不就是孔子的德行猶在嗎？”忽必烈又問：“有人說遼是因為崇佛而廢，金朝以寵佞儒家而亡，你以為呢？”張德輝回答：“對於遼朝的事情我了解不深，但是金朝我是親眼目睹。要臣中雖然有一兩個可以算是儒臣，其餘的大都是武夫和承襲爵位的無知之徒，說起軍國大事，又不聽取鴻儒大德的建議，所以金朝滅亡。他們不配玷汙儒家聖人！”忽必烈聽後，大為讚許。又問：
“祖宗的法度俱在，而執行起來，不能盡職盡責者很多。這將如何？”張德輝指著銀盤比喻：“創業之主，就像製作銀盤，精選白金良匠，但要交給後人，不斷傳承，必須要遴選懂事且嚴謹厚道的人來執掌。這樣才能永為寶用，否則不僅很快就會損壞，而且有人還會偷竊而去。”忽必烈琢磨半天才說：
“你的話正是我心中應該謹記的。”
此後，張德輝又向忽必烈提出了尊孔的方略，建議恢複北宋祭孔的禮製，以此弘揚儒家學說，體現元朝尊儒重道。忽必烈非常欣賞，要求每年祭孔的禮製必須維護，世代不能廢。
忽必烈還向他詢問治軍和管理民政的策略，張德輝都闡述了深刻的道理。臨別的時候，張德輝又上奏了先要辦好的七件事：敦孝友、擇人才、察下情、貴兼聽、親君子、信賞罰、節財用。忽必烈對他刮目相看，請他入座，給予優厚待遇，讓他奉旨教育忽必烈的兒子。
後來，張德輝舉薦元好問一起覲見忽必烈，請求忽必烈為儒教大宗師，忽必烈欣然接受。因為張德輝知恩圖報，願意回到真定報答史天澤知遇之恩，因此忽必烈命張德輝提調真定學校，相當於真定路的教育廳長。
忽必烈當上皇帝後，起用張德輝為河東南北路宣撫使，他以年邁之身，剿滅土匪，罷黜貪官，受到民眾讚揚。很多髦耋老人不遠數千裏來見，誇獎他：“六十年沒有見過這麼好的太平官府了。”他還積極傳播愛民之道，請求廢除奴隸製，要求把蒙古貴族的家奴都解放為自由人。他政聲顯赫口碑很好，元世祖忽必烈親自慰勞，讓他說說當務之急的事情。張德輝提了四點：嚴格保舉製度以取人才；給俸祿以養清官廉能；易世官而遷都邑，即調動官吏遷都元大都；正刑罰而勿屢赦，不要過度寬赦。這些建議都被忽必烈采納。
在此之後，張德輝不斷升遷。從參議中書省事，調任侍禦史，但他謝絕了。皇帝命他擬定禦史台條例，張德輝建議朝廷完善法度，建立機製，設置宗人府管理王公貴胄，忽必烈都采納了。
史書說，張德輝本性剛直，博學大器，氣質高貴，不喜嬉笑，一看就是個正人君子。他與元好問、李冶這龍山三老，不僅是政治上的同誌，也是學問做人上的好友。
1275年，張德輝逝世，享年八十歲。
這正是：
龍山三老留美名，曆經喪亂聚真定。
治學育人成鴻儒，治國進諫垂汗青。