1930年，蔣介石和馮玉祥、閻錫山以及桂係軍閥發動中原大戰，由於陶行知和馮玉祥交情甚深，蔣介石疑心陶行知的曉莊是他的反對者，再加上曉莊的確存在具有革命傾向的熱血青年。蔣介石悍然於4月8日下達了關閉曉莊的密令，並通緝陶行知。陶行知被迫離開凝聚著他一生心血的曉莊，避走日本，以逃脫國民黨政府的迫害。
自國民黨對陶行知發出通緝令後，持續遭到國內外輿論的譴責。國際知名人士如愛因斯坦、杜威、甘地、羅素、羅曼羅蘭等於1930年秋聯名致電蔣介石，要求他撤銷對陶行知的通緝令。次年春，陶行知秘密潛回國內，得《申報》總經理史量才支持，供職於《申報》。以化名創辦《讀者通信》專欄，譴責國民政府不抗日的反動行徑，並發起“科學下嫁”運動。
1931年，蔣介石二次下野，林森任國民政府主席，馮玉祥也為此而努力，迫於國內外壓力，次年元月，國民政府解除了對陶行知的通緝。陶行知終於又自由了，他再次投身於他鍾愛的大眾教育。
解放了的陶行知準備光明正大地讓曉莊複校，並登載招生廣告，蔣介石主導的國民政府卻食言而肥，他們用非法手段侵占曉莊校園，致使學校不能正常辦學。學校二次被封，陶行知對蔣介石的獨夫本質有了深刻認識。但他不會屈服，他要以更靈活的方式來傳播他的“曉莊”精神。
陶行知和著名教育家陳鶴琴創辦了工學團，繼而又組建了新安旅行團和山海工學團等承繼曉莊教育精神的組織。在這個過程中，陶行知發明並倡導了享譽世界的“小先生”製。
1934年1月28日，山海工學團召開普及教育總動員大會。在這次大會上，陶行知正式提出了“小先生”製。所謂“小先生”，就是通過教育家庭的小朋友，再利用小朋友去教育家裏不識字的人。
陶行知總結了采用“小先生”的幾大好處：一是有利於中國女子教育。在當時的社會風氣之下，女性主要在家庭裏，而且奉守陳舊的觀念，她們的教育問題相當不好解決。而有了“小先生”們，該困境幾乎不再存在，至少識字教育不是障礙；其次，大人跟小孩學，無形之中能使大人心態年輕，這也有利於培育少年中國的精神氣質；再次，“小先生”製有利於打破教育壟斷的藩籬，使得知識可以轉化為公共資源，為社會成員共同分享；最後，傳統教育的一大難點是家庭和學校之間聯絡不暢，但如果有了“小先生”們，就可以把學校、社會和家庭有效地聯結在一起。
陶行知倡導的“小先生”製，雖然飽受質疑，但在中國當時的社會條件下，卻的確起到了非同尋常的巨大作用。其影響波及整個國統區，並有充足的證據表明在中共解放區也產生了巨大的影響。共和國的著名教育家徐特立就是這一製度的踐行者，“小先生”製在延安被廣泛采用。不僅如此，實行“小先生”製的成果經受住了國際友人的考核，並由此揚名國際。
1936年8月，在倫敦世界教育會議第七屆年會上，陶行知作了“中國救亡運動與小先生普及大眾教育運動實踐情況”的報告，受到與會各國代表的高度讚揚。印度代表甚至直接邀請陶行知去訪問印度，指導印度的普及教育工作。在印度，聖雄甘地抱病和陶行知交流半個小時，臨別時，特別叮囑陶行知：“請代表我向中國人民致意。請把您在印度演講大眾教育的問題，寫成文章，寄給我們。”
隨著罪惡的日本侵略者對中國的摧殘加深，為了中國的前途和命運，陶行知不得不把大量的精力投放到遊說國際友人支持中國抗日的民族事業中。饒是如此，他仍然沒有放棄教育救國的理想。一方麵，他提倡國難教育；另一方麵，他身體力行，在重慶創辦了育才學校，繼續著他通過普及平民教育拯救並改造中國的理想。