陶行知的理想決不隻是把他的教學理論囿於區區一個校園，他要做的是把他的教學法推廣到全社會，讓整個中國人民都受益。從1920年起，他首創暑期學校，經過初步的成功試驗以後，他利用暑期學校大量招收社會上準備報考大學的男女高中畢業生，參加暑期學習，而教師則除本校教師外，還廣泛聘請社會名流講授，方法靈活，視野開闊，思想先進。這一活動的成功舉辦，為普及新文化運動的成果起到了積極作用。
1921年夏，經陶行知等人的努力和奔波，南京高等師範學校改組為東南大學，陶行知被聘為東南大學教授，任教育科主任。同年，孟祿來華考察，陶行知全程陪同，曆時4個月，幾乎走遍了半個中國，累積了一手有關中國教育狀況的統計材料。這為陶行知擴展他教育實踐的空間進一步提供了學術依據。
1922年，陶行知受聘擔任由蔡元培、馬敘倫等知名教育家和社會活動家領導的中華教育改進社的主任幹事。由於該社總部在北京，1923年8月，陶行知辭去東南大學教務、教職，舉家北遷。
1923年，他聯合北大教授朱經農編寫了《平民千字課》這部卓越的平民教育教材。同年8月，他趁教育改進社第二次年會舉行之際，宣布“推行平民教育運動是本屆年會的大事”。他與朱其慧（北洋與民國重要政治人物熊希齡的夫人）、袁觀瀾、晏陽初、王伯秋等人一起邀請各省代表成立了“中華平民教育促進會”（平教會）。平教會宣言稱“一個共和國的基礎，穩固不穩固全看國民有知識沒有，國民如果受過相當教育，能夠和衷共濟，努力為國家負責，國基一定穩固”。陶行知擔任了平教會的執行書記，自此，一個由上而下，有組織、有計劃、大規模的平民教育運動在全國興起。為專心於平民教育，陶行知拒絕了北洋政府對他的武昌高等師範學校（武漢大學前身）校長的任命，也謝絕了母校金陵大學校長職務的聘請。在平教會成立不久，在一次講演中，陶行知曾談到他平民教育的宏偉藍圖：“我們的具體目標，是要希望十年或五年以內，能使那十二歲以上、二十五歲以下一萬萬不識字的人，受一千字所代表共和國民的基礎教育，還希望學生年年增加”。
從1923年到1925年陶行知幾乎竭盡全力於廣泛宣傳和推行平民教育，他的足跡踏遍祖國的大江南北，到處都留下他一身中國農村平民著裝的風塵仆仆的身影，幾乎沒有什麼時間陪伴家人。他曾有一首《車上過年》的小詩描繪了他這一時期的匆忙與艱辛：上車過舊年，下車過新年。年年車上過，也算是過年。
在推行平民教育的過程中，在和廣大貧苦農民接觸後，陶行知意識到平民教育的方向應該有所轉變，他認為如果平民教育不能深入到中國廣大農村去，那是沒有前途的。他說：“中國以農立國，十有八九住在鄉下。平民教育是到民間去的運動，就是到鄉下去的運動。”
1924年，陶行知在給朱經農的信中說：“知行自從親自到民間去打了幾個滾，覺得我們有好多主觀的意見都是錯的，沒有效驗的。”陶行知決定改變平民教育方向，他要到鄉下去！
1926年元月，陶行知就江蘇省立五所師範學校在鄉村設立分校一事，提出了“師範教育下鄉運動”。他意識到，點到即止的鄉村支教對改變中國鄉村的教育麵貌將無濟於事，他的夢想是讓“鄉村學校做改進鄉村生活的中心，鄉村教師做改造鄉村生活的靈魂”，“鄉村師範之主旨在造就有農夫的身手、科學的頭腦、改造社會精神的教師”。
為了實踐他的理想，陶行知放棄了教授的派頭和享受，義無反顧地走向了中國鄉村。
1926年秋，陶行知他們不停地為他未來的鄉村師範學校尋找校址。他們找到了南京和平門外燕子磯附近一個靠著老山的叫小莊的村落，這裏依山傍水，桃林似錦。陶行知高興地發現這是一個理想的設立鄉村師範的地方，他激動得熱淚盈眶之餘，對同行的趙叔愚說：“老山太老了，這名字不好，不如叫勞山。小莊也應改叫曉莊。我們在這裏創辦試驗鄉村師範，在勞力上勞心，中國的教育必將從這裏破曉，放出曙光。”曉莊師範的校址由是選定。
同年12月3日，陶行知以中華教育改進社的名義起草了《改造全國鄉村教育的宣言書》，聲明該社的使命是“厲行鄉村教育政策為我們三萬萬四千萬農民服務。我們已經下定了決心，要籌募一百萬元基金，征集一百萬位同誌，提倡一百萬所學校，改造一百萬個鄉村。”在這一宏偉宣言的倡導之下，曉莊師範就這樣誕生了。