1837年9月2日（清道光十七年八月初三日），張之洞出身於貴州省興義府官第。父親張鍈，時任興義府知府，這一年他44歲。生母朱碧筠，是張鍈的第三任夫人，前兩位夫人劉氏和蔣氏已為他生下三個兒子：之、之清、之淵。張之洞排行第四，他之後還有兩個弟弟：之澄和之湧，另外，還有八個姊妹。
張鍈字春潭，直隸省南皮縣人。他二十一歲時中舉，但後來連續六次參加會試都沒考中進士，不能入仕為官。好在清朝有一項叫做“大挑”的製度，即每隔六年要從曆屆落榜的舉子中選拔一批低級官員，雖非正途，若官聲清揚，業績顯著，仍有逐級升遷的機會。張鍈幸而得中，派往貴州。幾年之內，先任安化知縣，後任貴築知縣，繼而受到道光皇帝的召見，升任興義知府。按照清朝的規定，知府是介於督撫和知縣之間的中層行政官員，一般為正六品或從五品，每年有一千多兩銀子的正常收入，雖然家大口闊，也尚稱富足。再往上溯，張之洞的高祖張乃曾做過山西省孝義縣知縣，曾祖張怡熊，做過浙江省山陰縣知縣，祖父張廷琛，隻做到署理福建侯官縣知縣。雖然張之洞以上四代為官，並且都以清介廉能有聲於時，但始終處在官僚體係的中下層，在社會裏，還算不上豪門顯宦。
繈褓中的小之洞生性愛哭，隻有朱碧筠的琴聲才能使他安靜下來，並露出笑容。張鍈說，這是胎中常聽琴瑟之鳴的緣故。碧筠出自名門閨秀，父親朱紹恩出身進士，官至知州。她年輕貌美，聰穎賢淑，琴棋詩畫，無所不能，特別擅長彈奏古琴。張之洞就這樣在母親的琴聲中孕育、長大。不幸到他四歲那年，生母病逝，她把琴留給小之洞，這架琴後來一直伴隨張之洞一生，經常撫弄。
朱碧筠死後，張鍈沒有續娶正室，四歲的小之洞由側室魏芷香撫養。魏氏未曾生育，便視之洞為己出，給他無微不至的關愛照顧。魏氏喜愛四季常開的月季花，常常將親手盆栽的月季擺滿之洞的小房間。受養母的這種熏陶，張之洞一生也酷愛月季。
1841年（道光二十一年）的春節過後，不滿五周歲的張之洞開始入家塾啟蒙識字。啟蒙老師叫何養源，是興義府有名氣的教書先生。他從《三字經》教起，每天教二十個字，之洞念過三四遍即能背誦，不到一個月，整本的《三字經》就背完了，何先生稱他為“神童”，也就是今天所謂的“天才少年”。
因為張之洞後來官至極品，所以興義府一帶有所謂張之洞是“靈猴轉世”的傳說，說是一個砍柴人每天清晨都能在將軍山上看見一隻活了三百年的老猿坐在山頭，不料張之洞降生後，那隻老猿再也看不見了。加之張之洞生下來時長著寬闊的額頭，光削的下頦，高高的顴骨間閃爍著晶亮亮的雙眼，活生生一張猢猻臉，於是風言他是靈猴轉世再生，絕非凡人。