張伯苓6歲時入私塾讀書。白天在義學裏念《三字經》、《千字文》，放學回家後，其父再輔以教導和講解，督促甚嚴。在義學中，張伯苓接觸了許多貧家子弟。
1891年，張伯苓考入北洋水師學堂。北洋水師學堂是洋務代表人物、北洋大臣李鴻章為培植北洋海軍人才而建立的。學堂總辦是船政大臣吳虞成，總教習是近代啟蒙思想家、主張變法維新的嚴複，教習多半是留英學生，用的是洋文，念的是洋書。總之，到這裏來上學，叫做“上洋學”。清政府為吸引學生，不但學費全免，還管吃管住，這對家境日趨貧困的張伯苓確有很大的吸引力。張伯苓在水師學堂如饑似渴地學習近代科學知識，大開眼界。他是航海駕駛班最好的學生，每次考試都是名列前茅。嚴複的思想對他影響很大。
按《北洋海軍章程》規定：“駕駛班學生在學堂習完四年畢業，派上練船學習船藝一年，送原學堂再習三個月，然後撥人槍炮練船，再學三個月。考核及格，派歸兵船差遣補用。”1894年，張伯苓等18名同學完成堂課，被派往北洋水師艦隊實習。時值朝鮮東學黨之變，清政府出兵平亂，日本也趁機出兵尋釁，遂引起中日甲午戰爭。戰爭既起，清政府的海陸軍被擊潰，於是急調北洋水師增援。張伯苓隨北洋水師艦隊參加了這一曆史性戰役。9月17日，日本海軍中將伊東佑享率領聯合艦隊襲擊北洋水師，在波濤洶湧的黃海海麵上發生了一場大海戰。雙方激戰五個多小時，互有損傷。張伯苓又隨北洋艦隊退守威海衛海軍基地。1895年1月，日本組成山東作戰軍，海陸兩路夾擊威海衛，丁汝昌等將士在腹背受敵的情況下，仍然堅持戰鬥。2月12日敵軍占據劉公島，北洋艦隊全軍覆沒。張伯苓隨北洋水師艦隊開始參戰時，第一艘兵船才出海，就被日艦擊沉。張伯苓含淚飲恨與眾人返師歸來。這是張伯苓的愛國熱忱受到的第一次沉重的打擊。
1897年，承甲午敗績，國事日頹，英、德、法、俄、日等帝國主義列強紛紛染指，妄圖瓜分中國。日本強迫清政府訂立關於結束中日甲午戰爭的馬關條約。俄、法、德三國以迫使日本交還遼東半島有功向中國索取報酬，德國租占膠州灣，俄國強租旅順、大連，法國租占了廣州灣，而英國強租九龍與威海衛。帝國主義強盜的協議既成，清廷乃派大員乘通濟艦去山東，辦理接收和轉讓手續，張伯苓隨艦前往。船到威海衛的頭一天，降下日本的太陽旗，升起中國的青龍旗。第二天，又降下中國的青龍旗，升起英國的米字旗。張伯苓目睹這場“國幟三易”的接收和轉讓儀式，親自嚐受了這一喪權辱國的場麵，氣憤填膺，五內俱裂。他從威海衛歸來之後，認為海軍報國無望，決定退役。
甲午之戰是中國大失敗的開始。海軍軍艦全軍覆沒，這次大失敗的教訓，激勵了張伯苓的誌氣，堅定了他一生的愛國熱忱。當時科舉雖還未廢，但要求變法維新以求富強已成為一般有誌青年的願望。張伯苓決心創辦新式教育。適值天津名紳嚴範孫倡辦新學，1898年乃延聘張伯苓主持嚴氏家塾。張伯苓結識嚴範孫，對其後來南開一係列事業的創立與發展影響很大。
張伯苓在嚴館執教時期除教授學生學習英文、數學和理化外，還提倡體育。那時沒有體育設施，就在院子裏放兩張木椅，上麵架一個雞毛撣子的長竹竿，作為跳高的橫杆，讓學生把長辮子盤在頭上，撩起長袍的衣襟，學跳高。這在當時卻是令人耳目一新的罕見之舉。
1901年，即義和團運動的次年，天津邑紳王奎章也聘請張伯苓教其於侄，是謂“王館”。張伯苓在嚴、王兩館，循環往複，誨人不倦。兩館教法大體相同，隻是附讀學生逐年增多，設備及教法都還不完備。
1903年，張伯苓有感於日本蕞爾小邦，居然勝中國，挫強俄，一躍躋身於世界列強，必有所以致此之道，不可不往一觀。在嚴修、王奎章的大力支持下，張伯苓乘暑假航海東渡，親眼看到日本明治維新後的盛況，領略了日本對教育的重視及辦學規模和教育方法，深受啟發。1904年5月，張伯苓和嚴修二渡扶桑，經過四個月的細心考察後回國，決定成立中學。遂將嚴、王兩館合並，成立私立中學堂。從此他結束了家塾的生涯，成為學堂的學監，開始一展他的宏願。