張釋之生於富豪之家，經中郎將袁盎推薦，得到漢文帝賞識，不久被提拔為公車令，掌殿司馬門。
太子和梁王坐車入朝，根據禮儀規定，王公大臣，到了皇宮外的司馬門時都必須下車，但是太子和梁王乘車馳驅而過，沒有下車。張釋之立即阻攔，不讓他們進宮，並彈劾“不下公門，有不敬之罪”。漢文帝礙於親情，沒有理睬。但是，文帝的母親薄太後聽到這件事後，對文帝驕縱兒子的行為很生氣。文帝這才意識到自己的不對，向母親道歉：“是我教子不嚴。”薄太後也派使臣帶著她的詔書前來赦免太子、梁王的罪過，太子、梁王這才被放行。進入宮中。文帝由此覺得張釋之與眾不同，對他十分器重，認為他很有膽識，又能堅持原則，不久即任命張釋之為中大夫，很快又拜為中郎將。
張釋之升任中郎將，跟隨皇帝到了霸陵，慎夫人也隨行。漢文帝用手指著通往新豐的道路說：“這是通往邯鄲的道路啊。”接著，讓慎夫人彈瑟，漢文帝自己合著瑟的曲調歌唱。歌詞淒慘悲傷。漢文帝回過頭來對著群臣說：“唉！用北山的石頭做槨，用切碎的芋麻絲絮填塞縫隙，再用漆膠塗在上麵，哪裏還能打得開呢？”近侍群臣附和著說：“對的。”張釋之走上前說道：“假若裏麵放著引發人們貪欲的東西，即使封鑄南山做棺槨，也還會有縫隙；假若裏麵沒有引發人們貪欲的東西，即使沒有石槨，又哪裏用得著憂慮呢！”文帝稱讚他說得好。
由於張釋之處事公正，文帝任命他當廷尉，掌管天下司法。
一次，文帝外出，經過渭橋時，有一個人突然從橋下跑了出來，驚嚇了拉車的馬。衛隊把這個人捕獲，文帝下令交給廷尉審訊。張釋之訊問時，這個人說：“我是一個鄉下人，從這裏經過，聽說皇上車駕到來，立即到橋下躲避。過了很長時間，以為皇上已經過去，出來時，卻看到皇上的車駕正在到來，於是趕緊躲避，不料驚嚇到了皇上的輿馬。”於是，張釋之做出判決：皇上經過，這個人沒有回避，衝撞車駕，處以罰金。然後，釋放回家。文帝聽了處理的結果後惱火地說：“這個人驚駕，應予重治。”張釋之說：“法律，不屬皇上私有，而是與天下百姓公共的東西，依照法律就應該這樣量刑。如果處理得過重，那麼，天下人就不會再相信朝廷法律。如果您當時將他處死，那也就算了。現在既然交給廷尉處理，那麼廷尉是‘天下之平’，他對天下人使用一個法律標準。如果輕重可以隨意，那麼百姓將根據什麼行事呢？懇望皇上考慮。”停了很久，文帝說：“廷尉是對的。應該這樣處理。”
智慧金言
國家法律是皇帝和老百姓都應該共同遵守的。法律，是天下的公器，不可以任由權勢者根據個人好惡，隨意玩弄。但是在封建專製體製下，君主說的話往往就是法律。張釋之能在那樣的時代執法持平，剛正不阿，實在難能可貴。