南京國民政府成立後，蔡元培出任大學院院長，繼續致力於教育改革。他鑒於中國教育官僚化的弊病，仿照法國教育行政製度，改教育部為大學院，並在全國推行大學區製。實行大學區製，改教育的官僚化為學術化，是蔡元培的一個教育理想。這在當時有進步的意義。但希望通過改變個別具體製度的辦法，來達到改變國內教育狀況的目的，這在當時的社會條件下，是不可能實現的，而且這個主張也脫離了中國國情。所以大學區製試驗不久便告失敗。
一、出任大學院院長
1927年南京國民政府成立後，蔡元培一度出任大學院院長，再次執掌全國性的最高教育行政職務。
1927年4月，蔡元培被委任為國民政府教育行政委員會委員。他隨即仿照法國教育行政製度，同李石曾等提議變更教育行政製度，改教育部為大學院。法國在1920年以前，由大學院院長總管全國教育行政；1920年以後，才設置教育部。蔡元培受此影響，認為可仿此辦法來根治中國教育官僚化的弊病，他在《提議設立大學院案》中指出：“近來官僚化之教育部，實有改革之必要。欲改官僚化為學術化，莫若改教育部為大學院。”1927年6月間，這個提議被采納，蔡元培被國民政府任命為大學院院長。
根據《組織法》規定，大學院為全國最高學術教育機關，管理全國學術及教育行政事宜；設院長一人，總理全院事務；大學院設大學委員會，議決全國學術上一切重要問題；同時設立中央研究院及勞動大學、圖書館、博物院、美術館、觀象台等國立學術機關。蔡元培主張實行精兵簡政，“但求辦事上能增加效率，不因人設事，致成衙門化”，故大學院內的辦事機構僅設秘書處和教育行政處。
蔡元培所以要改教育部為大學院，是同他的教育獨立思想相關聯的。1928年1月他在《〈大學院公報〉發刊詞》中說：“民國紀元以前，管理學術及教育之機關曰學部，民國元年改為教育部。依教育一詞之廣義，亦可以包學術也。顧十餘年來，教育部處北京腐敗空氣之中，受其他各部之熏染；長部者又時有不知學術教育為何物，而專騖營私植黨之人，聲應氣求，積漸腐化，遂使教育部名詞與腐敗官僚亦為密切之聯想。此國民政府所以舍教育部之名而以大學院名管理學術及教育之機關也。”隨後，他又進一步指出，為了不重蹈北京教育部以官僚支配教育的覆轍，特闡明大學院的三大特點：“（一）學術教育並重，以大學院為全國最高學術教育機關；（二）院長製與委員製並用，以院長負行政全責，以大學委員會負議事及計劃之責；（三）計劃與實行並重，設中央研究院為實行科學研究，設勞動大學提倡勞動教育，設音樂藝術院實現美化教育。此三點為餘等主張大學院製之根本理由。”這些都同他在1922年《教育獨立議》中所提出的教育事業完全交給教育家，保有教育獨立資格的主張相一致的。
按照《組織法》規定，大學院設立大學委員會作為最高立法機關。它由各國立大學校長、大學院教育行政處主任、國內專門學者五至七人組成。大學院院長兼委員長。當時的組成人員為：蔡元培、李石曾、褚民誼、胡適、許崇清、高魯、楊杏佛、戴季陶、朱家驊、蔣夢麟、張乃燕、易培基、鄭洪年、張謹、金曾澄。大學委員會賦有推薦大學院院長，議決學術和教育方麵重大方案的權力。這體現了蔡元培以“學術化代官僚化”的主張，保持教育的相對獨立性。大學委員會的設立及其作用，是大學院不同於教育部的一個重要標誌。
大學院成立之初，蔡元培提出使教育科學化、勞動化、藝術化三項教育方針，作為今後的努力方向，即：（一）提倡科學教育，一方麵從事科學上高深之研究，一方麵推廣民眾的科學訓練，俾科學方法得為國內一般社會所運用；（二）養成全國人民勞動的習慣，使勞心者亦出其力以分工農之勞，而勞力者亦可減少工作時間而得研求學識機會，人人皆須致力於生產事業，人人皆得領略優美的文化；（三）提起全國人民對於藝術的興趣，以養成高尚、純潔、舍己為群之思想。1928年5月，大學院在南京召開全國教育會議，蔡元培在開會詞中重申了這三點教育方針，並為會議所采納，寫進了宣言中。
蔡元培在大學院院長任內，仍然堅持他的革新、進步的教育主張，在推廣義務教育、社會教育、職業教育等方麵，都取得一定的成績。1928年2月21日，大學院通令全國將春秋祀孔典禮，一律廢止。令文指出：“查我國舊製，每屆春秋上丁，例有祀孔之舉。孔子生於周代，布衣講學，其人格學問，自為後世所推崇，惟因尊王忠君一點，曆代專製帝王資為師表，祀以太牢，用以牢籠士子，實與現代思想自由原則及本黨主義，大相悖謬。若不亟行廢止，何足以昭示國民。”五四新文化運動曾對當時的“孔教複辟”逆流發起了猛烈的攻擊，極大地影響了中國的思想界，但作為政府行為頒布禁止祀孔令，這還是第一次。
對於這個院令在當時社會上造成的震動和影響，周天度先生在其所著的《蔡元培傳》中，作了這樣的敘述：這在當時文化思想領域算得上一件大事。院令公布後，各地相繼發生毀孔廟、分廟產的事情，因而遭到一些守舊派的強烈反對。有人寫信給蔡元培，反對廢止祀孔，認為孫中山的學說，實繼承堯、舜、禹、湯、文、武、周公、孔子正統思想而發揚光大之，不相違悖。還有一個叫孫少元的孔教徒針對大學院這一改革，寫了一篇五千餘字的長文《廢孔祀抗議》，對蔡元培大張撻伐，攻擊他在院令中說孔子學說“尊王忠君”，是“斷章取義，詆毀先民。蚍蜉撼樹，多見不量”；推崇孔子是中國有史以來最“足資為師表”的人物，其人格學問，可“與天地參，並日月明”。他說：“民國初元，我國思想界尚風平浪靜。七八年後一時風起水湧，說者謂皆發源於北京大學。彼時北京大學尚未取得發號施令之資格，未嚐聞其如何昭示國人。惟據其成績之可見者觀之，養成偏重時代之思潮，已無可為諱。此思潮之結果，他方麵皆無所得，獨共產黨趁風使船，一日千裏，幾乎有混一中國之觀。……北京大學生之一幕，亦既焦頭爛額熱若此矣，今又化身大學院，據發號令之地，首以共產黨所欲辦而未辦之廢孔一事，昭示國民，是直恐國民搶前心理之不足，又從而現身說法，以為之倡導，登高而招，臂非加長而見者遠；順風而呼，聲非加疾而聞者影（彰），吾烏知夫大學院一幕之成績，不更駕前幕而上之乎？”孔子的七十七代孫孔德成更是心懷不滿，他給南京各部部長及各省省主席的一項通電中，指責蔡元培為了沒收孔府私產，“不惜蹂躪人權，提出非法處分”，提起抗拆，要求撤銷原令。這些保守派反對廢止祀孔的言論，恰恰足以說明蔡元培此舉在改革社會積習方麵所具有的積極作用。