上海南洋公學是後來交通大學的前身，成立於光緒二十三年（1897），分為師範院、上院、中院和外院四部，外院即小學。光緒二十七年（1901）春增開一個“特班”，取錄了42位私塾就讀而又有誌向西學的秀才、舉人，預定教他們外國語言及經世之學，成績優異者保送“經濟特科”。蔡元培就是擔任這個特班的總教習。
當時特班的學生都想學日文，元培便用他半生不熟的日文教學生選讀政治、法律、外交、財政、經濟、哲學等門類的專業書，要求學生每日撰寫劄記。其主旨“蓋在啟發青年求知欲，使廣其吸收，由一己觀念進之於國家，而拓之為世界。又以邦本在民，而民猶蒙昧，使青年善自培育其開發群眾之才，一人自覺，而覺及人人。其所詔示，千言萬法，一為之愛國”。在諸多學生中，他最欣賞邵力子、李叔同、黃炎培、王世澂、洪允祥等人。
蔡元培在上海的文化教育界中已日漸活躍。他所從事與新教育相關的有兩件事：一是籌辦“愛國女學校”，一是發起“中國教育會”。
愛國女學校由蔡元培夫人黃仲玉首倡，取得上海猶太富商哈同夫人羅迦陵女士的獨力支持，再由蔡元培和蔣觀雲等人租校舍，於光緒二十七年（1901）冬正式成立。早期學生人數僅有十名左右。中國教育會則由元培和上海文教界人士葉瀚、蔣觀雲、黃宗仰等人共同策劃，由蔡元培任會長，成立於光緒二十八年（1902），主張革新，因無經濟支持，早期僅從事文字方麵的鼓吹而已。
光緒二十八年，元培三十五歲，開始學習拉丁文，天主教徒馬相伯是他的老師。蔡元培認為拉丁文是歐洲各國語文的根本，各國語言多源於拉丁文，若不通曉，則無法了解西洋的一切古代文化。他還選派了24個學生，和他一齊向馬相伯學習。後來，馬相伯就以這批學生做基礎，創立了震旦學院，也就是震旦大學的由來。
這一年，蔡元培趁暑假赴日本旅遊，卻遇上了東京留學界的“成城學校事件”。成城學校是專為中國學生而設的軍官學校預備班，吳敬恒奉兩廣總督之命，帶領速成師範學生到日本留學，其中9人擬入成城學校，清駐日公使拒絕保送。吳向公使抗議，被召日警驅逐出境。吳敬恒回國船中和蔡元培相遇。
兩人“大談立憲之不可成，皆知革命之不可已”。7月10日船抵上海，中國教育會同仁發起歡迎大會。會中決議由教育會自設學校，自教子弟，毋須赴日本留學。
於是教育會遂有自辦學校的計劃。
吳敬恒同入南洋公學任教，卻因他發生了轟動一時的退學事件。同年10月17日，導火線是一個小小的墨水瓶，引起特班學生犧牲其保舉經濟特科的資格，相率退學，蔡元培也引咎辭職。而原因是吳敬恒和校方發生衝突，有十數名學生遭開除，吳亦辭去。
這個事件對清末學界的影響無比重大。蔡元培和吳敬恒、章太炎、蔣維喬等，便在中國教育會的二樓成立“愛國學社”，社員55人，都是南洋公學的退學生。
學社社員勸其姊妹就學，自此女校學生漸多。愛國學社成立後，蔡元培等幾個具有進步和革新思想的人士，從此與一群熱情奔放的青年學子日夕相處，彼此間互相影響，言論和思想都有了急劇的發展，不久便激起更大的浪潮，震撼了上海甚至整個中國。