1902年2月，張謇應兩江總督劉坤一電邀赴江寧討論興學之事，建先立師範中小學之議。劉讚成，而藩司吳、巡道徐、鹽道胡同詞阻撓。胡曰：“中國他事不如人，何至讀書亦向人求法？此張季直過信羅叔韞，叔韞過信東人之過也。”江督為之意沮。張謇歎息不已，乃與羅叔韞、湯壽潛等同人籌劃在通州自立師範，計以張謇從任辦通州紗廠五年以來應得未支的公費連本帶息2萬元，另加勸集資助可成。同年7月9日中國第一所民辦師範學校——通州師範開工建設。它的建設標誌著中國師範教育專設機關的開端。“後之人知中國師範之自通州始，必不知自二道一司激成之也！”
自此一發而不可收。僅張謇個人，從1902到1926年25年間就為興辦各種教育事業注入資金257萬元，創辦通州各級各類學校合計330多所，並在寧滬等地參與創辦三江師範學堂（今南京大學前身）、複旦公學（今複旦大學前身）、南京河海工程專門學校（今河海大學前身）、吳淞商船學校等多所學校。從縱向說，有學前教育、初等小學、高等小學、中學、中師、大學專科、大學本科；從橫向說，有普通教育、師範教育、專門教育、職業教育、特種教育，構成了門類相對齊全、結構相對完整的國民教育體係。當時南通成為全國教育最為昌明的示範區域，學生除本省本縣外，慕名遠道來學者，有浙、贛、皖、閩、湘、鄂、魯、晉、秦、隴、滇、黔、蜀等13省。學校畢業生之多、學齡兒童入學率之高，在全國同類行政區域中首屈一指。但是，張謇並不以這樣的成績為滿足，他為自己確定的目標是：“鄉裏學齡兒童十七八有就學之所，兒童長成十五六有治生常識。”此外，他還為年長力薄智絀而任重道遠感到歉疚不安。在實踐中摸索，在摸索中總結，在總結中積累，張謇形成了自己獨具特色的、相對於科舉製度來說是全新的教育思想體係。這個體係具有以下九個方麵的豐富內容。
教育的功能與地位
張謇認為，教育是開啟民智、造就人才的光輝事業，在促進國家富強的諸因素中居於根本的地位：“人皆知外洋各國之強由於兵，而不知外洋之強由於學。夫立國由於人才，人才出於立學，此古今中外不易之理”“竊維環球大通，皆以經營國民生計為強國之根本。要其根本之根本在教育”“教育所以開民智”“非人民有知識，必不足以自強；知識之本，基於教育”。他在各種場合反複強調教育的根本地位：“教育者萬事之母”“教育者，一切政治、法律、實業、文學之母”“教育是誘導人的利器”“為社會政府儲有用之才，即為社會政府通將來之驛”“教育尤為各種政策之根本”。他在清末曾預料“中國恐須死後複活，未必能死中求活”，而“死後求活，惟恃教育”。
學校的培養目標
與科舉旨在造就官吏相對立，張謇明確提出國民教育的目標是培養廣大有文化的勞動者。因此他特別強調普及基礎教育的重要性：“國何為而須教育？教育者，期人民知有國而已。能有國之終效，使人人任納稅當兵之責，多數無怨望而已。”“教育期人人知行藝，知邦法。知行藝則國多可信可用之人，知邦法則裏無或暴或慢之俗。”“不民胡國？不智胡民？不學胡智？”“當思世界雖大，我是其中一份子。隻須努力於學業，將來無論為士為農為工為商，皆為健全之國民。”“欲雪其恥而不講求學問則無資，欲求學問而不求普及國民之教育則無與。”“自治之本在興學，興學之效在普及。”為使孩童成人後平時能建設、戰時能衛國，他還獨具慧眼地提出了“軍國民人格”教育的思想，並且熱心實踐予以提倡。