翰林院掌編修國史，草擬冊封、製誥等典禮文書之類，主官為掌院學士，一般從士、各部尚書中選充，屬官有侍讀學士、侍講學士、侍讀、侍講、修撰、編修、檢討、庶吉士等。每屆科考後，隻有一甲三名，二甲七名共十名新科進士直接進入翰林院，並授給修撰、編修等低級官職，其餘三甲百餘人還需通過考試，名曰“朝考”，擇優錄取部分人員入翰林院學習，稱庶吉士，三年結業後再考試散館，優者留院任編修、檢討，其餘改授各部院給事中、禦史、主事、中書或外放為知縣、教諭。因此，清代翰林院被稱為“儲才”之所，是官吏的搖籃，名臣疆吏多由翰林出身，一步步升遷，官至極品，權重朝野，“點翰林”即進入翰林院，被視為人的無上榮耀。張之洞以新科探花的身份直接進入翰林院，並授予七品銜編修，起步不錯，仕途似乎一片陽光，但能否順利地走上權利的高端，除了個人的造化，還要看機緣，因為遠非出身翰林的人都能位至極品。
但張之洞的仕途並不平坦，布滿坎坷。從1862年入翰林直到1881年底出任山西巡撫的將近二十年裏，雖然職位由編修漸升至侍講學士，始終隻是一名並無實際職掌的閑散京官。翰林院是有名的清水衙門，他每年隻有百餘兩銀子的薪俸，要養活一家四口，日子過得緊巴巴的。但矢誌匡時救國的張之洞並未因窮困而潦倒，虛度年華。頭幾年，他利用翰林院寬鬆的環境和優越的條件，查閱了大量的曆朝文牘案卷，借以熟悉清一代的史實典故，也熟練地掌握了各類文書的寫作技巧和程式，偶爾還代人草擬奏疏，練就一身日後從政言事的文字功夫，他的奏章主題鮮明，構思奇特，行文起伏跌宕，用詞華美瑰麗，極具說服力和欣賞性，往往為士人傳誦。
同治四年（1865年），張之洞在吏部組織的京察考核中名列一等第一，取得外放地方出任實缺官員的優先資格。這正是他夢寐以求的，親朋好友也都認為他出頭之日不遠了，但這並未成為現實。第二年，與他相濡以沫十二年的元配夫人石桂蘭病故，留下一兒一女。張之洞悲痛不已，久久不能忘懷，以至在下一年的翰詹大考中因答卷脫漏一字，僅列二等第三十二名，升遷無望。這一從未有過的失誤挫折，使張之洞終於從亡妻的悲痛中解脫出來。