1911年10月，蔡元培在德國獲悉武昌首義勝利的消息，“為之喜而不寐”，隨即從萊比錫趕到柏林，在留學生中開展宣傳工作。11月中旬，他經西伯利亞回到了闊別四年的祖國。他在上海與黃興、章炳麟等參加了各省代表會議。1912年1月3日，蔡元培被任命為中華民國南京臨時政府教育總長。
蔡元培認為，民國草創，政府機構應不講排場，因陋就簡，反對官署化。他自己“躑躅裏巷”，尋租辦公用房。他注意網羅人材，講求辦事效率。魯迅、許壽裳、夏曾佑等都被聘為部員；全部人員僅30多人，從總長到錄事一律每人每月30元薪水。在臨時政府三個月期間，蔡元培主持製訂了改革教育的各種方案和法令。
1912年2月，蔡元培在《對於教育方針之意見》一文中，闡明了改革舊教育的基本主張。他把清末學部製定的忠君、尊孔、尚武、尚公、尚實五項為封建統治服務的宗旨，改成為軍國民教育、實利教育、公民教育、世界觀和美育五項，刪去了違背共和政體和不合信仰自由原則的忠君、尊孔兩項教育宗旨，而用世界觀教育和美感教育來代替。他強調新的五項教育宗旨中以公民道德教育為中堅，並以法國資產階級革命時期提出的自由、平等、博愛作為公民道德教育的綱領。這時，蔡元培還主持改革學製，修訂課程，改編不合共和宗旨的教科書；規定小學廢止讀經，初級小學實行男女同校，各省學堂一律改稱學校。他還積極推行義務教育和社會教育，在教育部除設普通教育司和專門教育司外，又特設社會教育司，冀望把教育事業從學校擴大到整個社會。蔡元培的上述主張和措施，貫徹了他所提出的“養成共和健全之人格”的教育方針，大體上仿照西方資產階級的教育製度，建立起我國近代的教育體製。這些都反映了新興資產階級為富國強兵、發展實業而建立新教育的要求，適應了當時鞏固剛建立的共和製度的需要，具有反封建的積極意義。
南京臨時政府建立伊始，就同還控製北方的袁世凱舉行南北和談，最後達成清帝退位和南方讓袁接任臨時大總統的妥協方案。2月18日，孫中山委派蔡元培為歡迎袁世凱南下就職的專使。當時南京為革命派勢力較強的地方，狡詐的袁世凱是決不會離開自己的巢穴南下的，因而迎袁差事一開始就注定要失敗。袁表麵上對蔡等一行故作歡迎姿態，虛與委蛇；暗地裏，則布置輿論，甚至製造“兵變”，造成袁離開必“釀大禍”的架式，借以恐嚇要挾。忠厚為人的蔡元培顯然無力應付這種複雜局麵，他先是輕信袁的虛偽許諾，後當事態惡化又惟有妥協一途。他致電南京方麵表示：“培等睹此情形，集議以為速建統一政府，為今日最要問題，餘盡可遷就，以定大局。”孫中山複電表示讓步，迎袁終以失敗告終，新生的南京共和政府也很快夭折在搖籃期中。
在北京政府唐紹儀內閣期間，蔡元培繼續擔任教育總長。他繼續推進南京政府任內開始的改革舊教育工作，確定了整頓學務的各項任務。7月間，在他主持下召開了全國臨時教育會議。他在開會詞中表示：“中國政體既然更新，即社會上一般思想，亦隨之改革；此次教育會議，即全國教育改革的起點。”他提出的新教育五項宗旨，在這次會議上獲得通過。他還在會上提出“學校不應拜孔子案”，列舉了前清學堂管理規定拜孔子儀式，實是崇奉宗教儀式，既乖教育目的，又悖信仰自由原則，實不合理，應在學校刪去此項禮儀，要求公決後施行。經會議熱烈辯論，決議在學校管理規程內刪去拜孔的條文。蔡元培采取的小學廢止讀經、大學取消經科、學校刪去拜孔禮儀等措施，在社會上引起很大反響。這一大膽的革新，對頑固的封建文化思想是一個很大的衝擊，同時對後來五四時期新文化的傳播起了某種開啟的作用。
蔡元培兩任教育總長的時間前後僅半年多。他在北京政府任職期間，對袁世凱的擅權專製日益不滿，表示不能任此“伴食”之閣員。6月21日，他在辭職書中就表達了對現狀的不滿：兩月於茲，“不圖理想與事實，積不相容。受事以來，旅進旅退，毫不能有所裨益。”袁世凱雖表示慰留，但他去誌已堅。7月初，他邀約入閣的同盟會會員王寵惠、宋教仁、王正廷等一同退出內閣，辭去總長職務，不與袁世凱合作。轟動一時的四總長聯名辭職函，即出自蔡元培的手筆。1912年9月，蔡元培再度赴歐遊學，繼續在德國萊比錫大學聽講並進行學術研究。
1913年3月，袁世凱指使刺殺宋教仁的血案發生。袁的反動麵目暴露無遺。宋案發生，舉國震驚，孫中山決計興兵倒袁。6月初，應孫中山之召，蔡元培由德國回到上海。這時革命派內部意見不一，黃興等人對武力討袁信心不足，主張法律解決。蔡元培開始也“不主極端進取”，而以書生之見，試圖調和南北之間的衝突。袁世凱卻變本加厲，先發動了對南方的進攻。以孫中山為首的國民黨人決計反擊，舉行了反袁的“二次革命”。在調停的幻想破滅後，蔡元培毫不猶豫地參加了討袁戰鬥。在這期間，他發表了《敬告全國同胞》、《袁氏不能辭激成戰禍之咎》等一係列文章，列舉事實，揭露袁的野心，指出：“今厭亂之人，無不疾首痛心於此次之戰禍。當知罪魁禍首，實維袁氏。”但由於這時的國民黨完全脫離人民，討袁成了單純的軍事冒險二次革命很快被袁世凱鎮壓下去，孫中山等再度流亡國外。1913年9月，蔡元培隻得再度攜妻孥赴歐，開始了遊學法國的生涯。
旅法期間，蔡元培與李石曾、吳玉章等人，於1915年6月組織了勤工儉學會，以“勤於作工，儉以求學，以進勞動者之知識”為宗旨。蔡元培重視向西方學習先進文化，早在民國元年就同有留法經曆的李石曾、吳稚暉等人發起留法儉學會；他任教育總長期內，在北京設立了留法預備學校，並選派學生赴歐美深造。為深入開展勤工儉學和旅法華工教育，1916年3月，蔡元培、李石曾、吳玉章等，聯同法國學者名流，在巴黎發起成立華法教育會，蔡元培被舉為中方會長。他們一方麵為第一次世界大戰期間赴法的大批華工辦學校，蔡元培並為此編寫了一本《華工學校講義》；一方麵組織國內有誌青年以半工半讀方式到法國留學。這項工作在國內產生很大影響，一時以勤工儉學赴法留學者不下千人。有許多進步知識分子在法國勤工儉學中接受了馬克思主義的教育，著名的如周恩來、蔡和森、趙世炎、陳延年、向警予、鄧小平、陳毅、李富春等。蔡元培倡導勤工儉學運動是有重大曆史功績的。
革新北京大學
1916年6月6日，竊國大盜袁世凱在全國人民的唾罵聲中死去。蔡元培在《旅歐雜誌》上著文剴切剖析了這一曆史事件，認為袁稱帝複辟不僅是個人的罪惡，而且是代表了官僚、頑舊和迂怪三種腐惡的社會勢力。他不無憂慮地提醒國人：“今袁氏去矣！而此三社會之流毒，果隨之以俱去乎？”這是很有見地的。9月初，他接到教育總長範源濂請其歸國出任北京大學校長的電報，電文稱國事漸平，教育宜急。現以首都最高學府，尤賴大賢主宰，師表群倫。“敦請俯允，早日回國。蔡元培一生重視教育，”教育救國的抱負早已有之，因而他接到電報後決計束裝歸國，於11月間抵達上海。12月26日，蔡元培正式被任命為北京大學校長。
這時的北大雖經過初步的民主主義的改革，但很不徹底，官僚積習很深，校風還相當腐敗，仍被視為是非之地。對蔡元培出長北大一事，不少友人多以“整頓不好於己名聲有礙”為由，勸他不要就職。蔡元培則認為既然知道北大腐敗，更應進去整頓，就是失敗了，也算盡了心。他在致汪精衛的信中說吾人苟切實從教育著手，未嚐不可使吾國轉危為安。表達了他革新北大的目的和決心。他的這些想法得到一些友人的理解和讚助，特別是孫中山對他出任北大校長給予了熱情支持並寄予厚望。孫中山認為，北方需要傳播革命思想，像蔡元培這樣的老同誌，應當去那帝王思想和官僚習氣籠罩下的北京，主持帶有全國性的教育。後來的事實證明，孫中山的支持確是一種遠見卓識。
1917年1月4日，蔡元培正式到校視事。他所賦有的革新精神和民主作風，給暮氣很深的北大帶來了新的氣息。他在就任校長的演說中，為了改變科舉時代的舊觀念，向學生提出了“抱定宗旨”、“砥礪德行”和“敬愛師友”三項要求。他強調大學是研究高深學問的機關，“大學生當以研究學術為天職，不當以大學為升官發財之階梯”。正是在這種宗旨下，他開始了對學校的全麵革新。
蔡元培深知教師隊伍的素質對辦學成效有著決定的意義，因而，“廣延積學與熱心的教員”，是他在北大實行革故鼎新，造成良好學術空氣的一項重要措施。他認為北大之弊，一在學課之淩雜，一在風紀之敗壞，而救第一弊在延聘純粹之學問家，既教授又與學生共同研究，以改造成為純粹研究學問之機關；救第二弊在延聘學生之模範人物，以整飭學風。因此，他是把延聘積學與熱心之士同改造北大相聯係的。
蔡元培在北大實行思想自由、兼容並包的方針，允許和鼓勵不同學派的發展。從表麵上看，這似乎是一種不偏不倚、客觀主義的方針，其實不然。在當時的曆史條件下，其基本傾向正是為了打破封建文化專製主義的桎梏，為資產階級新文化的發展爭得地盤。所以他在北大大力反對“數千年學術專製之積習”，“一道同風之舊見”，大量引進和扶植新派人物，積極支持新文化新思潮。他到北大後，是從整頓文科入手的。因為文科教員中頑固守舊人物不少，原來崇尚宋儒理學的桐城派占據優勢，亟需延聘具有革新思想的人物來主持和充實文科。蔡元培到校後的第十天，即1917年1月13日，就聘請了以編輯《新青年》著名的陳獨秀來北大任文科學長。這樣陳獨秀同時把《新青年》編輯部遷到北京，並加以改組擴大，李大釗、魯迅、胡適、錢玄同、劉半農、沈尹默、高一涵等，都參加了編輯工作。這些新文化運動的風雲人物，也都是經由蔡元培先後引進或延續聘請到北大任教的，從而在校內形成了以《新青年》編者為核心的革新營壘。同時也有舊學深沉的黃侃、劉師培、黃節、陳介石、陳漢章等人。對於政治上保守但在學術上有造詣的學者，蔡元培不允許他們在課堂上宣揚帝製複辟一類言論，但也用其學術所長，不拘一格網羅眾家。理科方麵，知名學者如夏元堞、李四光、顏任光、何傑、翁文灝、鍾觀光、任鴻雋、李書華、俞同奎、葛利普（美籍教授）等都在北大任教。法科教員中，也有陶孟和、馬寅初、周鯁生、陳啟修等知名學者。這一時期的北京大學，實可謂人才薈萃，學術空氣濃厚，盛極一時。
對於那些學術水平低下，或素行不檢，不適合在北大任教的，不論中外教員，蔡元培都一律按聘約合同予以解聘。當時北大有幾位外籍教員，多是由外國駐華公使館或我國駐外使館私人介紹來的。其中有的人不學無術，個別的品行不端，蔡元培即按照合同將他們停聘。一個法國教員要控告他，另一個英國教員竟要英駐北京公使朱爾典出麵幹涉。蔡元培不為所動。朱爾典竟放風威脅說看你蔡元培還能做幾天校長？蔡元培對此十分輕蔑，一笑置之，仍堅決讓他們走開。蔡元培為了祖國的教育事業，敢於頂住壓力，表現了他革新的決心和勇氣，顯示了中國人的氣概。
蔡元培還對學校的體製進行改革。他為了改變原來學校由少數人掌權的舊體製，參照歐美各國的教育製度，按“教授治校”的原則，設立由教授和職員代表組成的評議會，作為學校最高的立法機構和權力機構。同時廢“門”設“係”，調整學科的設置，使北大成為文理科為主的綜合性大學。全校設十三係，係設教授會，係主任由教授選舉產生，並討論決定全係的重大事宜。這種教授治校的原則，在當時處在封建軍閥統治的曆史條件下，是有著進步意義的。他還改“學年製”為“選科製”，規定必修科目和選修科目，在教師指導下啟迪學生的主動性。此外，他還十分重視課程的改革和建設，提出大學的教學內容要對“世界的科學取最新的學說”，積極主張吸收外國先進的科學文化，同時強調對外國學術文化應重在消化，反對簡單模仿和全盤歐化的錯誤傾向。蔡元培還在北大大力貫徹他的“凡大學必有各種學科的研究所”的主張，到1917年底，北大文、理、法三科各學科先後分別成立了研究所。
1920年春，蔡元培在北大開始招收女生入學，開創了我國公立大學教育中男女同校之先河。他痛感當時高等學校既不許男女同校，又不為女子特設的落後狀態，奮勉革新。1920年初，先後有九位女生申請入學，因考期已過，蔡元培準許她們旁聽，同年暑期正式招收女生。此事雖遭頑固勢力攻擊，但一經北大首倡，各地各校紛起仿效，終成不可阻擋的進步潮流。
蔡元培還在北大提倡平民教育，招收學生堅持不看資格、出身，注重以成績優劣為標準，使許多有誌青年能進入北大。他主張學校的學術活動和教學活動向社會公開，除正式學生外還招收一定數量的旁聽生、選科生，使更多的人能受到高等教育。他還積極讚助學生會創辦平民學校，作為溝通學校與社會的一個渠道，大學生為社會服務的一項重要措施。
蔡元培為了矯正不良風氣，改變學生觀念，積極鼓勵學術研究，扶植各種社團組織。由於蔡元培的大力倡導，校內社團有如夜空繁星，各種刊物宛似雨後春筍。鳶飛魚躍，生動活潑。這種學術思想自由的原則，使北大成為當時全國惟一的一個百家爭鳴的學校。
蔡元培在北大任職十年半，實際在校主持工作僅五年半。在這期間，北大完成了有重大意義的改革，使它不僅贏得了崇高的學術地位，而且成為五四新文化運動的策源地，為近現代中國的社會進步運動作出了重要貢獻。這是蔡元培一生事業中輝煌的一頁。
新文化的倡導者與保護者
蔡元培主持北大進行革新之際，正是中國新民主主義的政治和文化的發端時期。這時，蔡元培的革命民主主義思想也有了進一步的發展。他支持日益興盛的新文化運動，提倡白話文，讚成文學革命，反對封建複古主義的舊思想，倡導以科學和民主為內容的新思潮。這在當時，對北大、對整個文化思想界都發生了很大的影響。
蔡元培始終關心和支持《新青年》雜誌，他的《以美育代宗教說》、《洪水與猛獸》等重要文章，就是在這個刊物上發表的。1917年初，他在一些講演中，批判了複古派要以孔教為國教的謬論，從科學的角度解釋了宗教的起源，掃除封建迷信和愚昧的觀念。他特別指出：“孔教二字不成名詞，按之理論，絕勿能通。”駁斥了那些“今日尊孔之徒”。他還進一步用發展的觀點，著文批判了複古派把古代典籍奉為萬古不變之教條的錯誤觀點。蔡元培還是近代科學的熱心提倡者。他在北大學科和課程建設上，十分注意突出自然科學的地位，鼓勵學生組織各種學會，深入研究高深學問。他希望青年學生立誌發展科學文化事業，使中國“參加於世界學術之林”。
他到北大後不久，對當時正在興起的新文學運動，給予了積極的支持。他對新派人物提倡寫白話文，十分讚同，並且“斷定白話派一定占優勝”。他在北大發起成立了歌謠征集處。征集的民歌民謠陸續在《北京大學日刊》上發表，並出版《歌謠周刊》和《歌謠叢書》。文科研究所也開設研究民間文學的專題。這些都促進了白話文和白話文學的發展。
他對北大的進步社團，如國民社、新潮社、平民教育講演團、哲學會、新聞研究會等，都給予熱情的支持。由鄧中夏等發起組織的馬克思學說研究會，也經蔡元培同意在《北京大學日刊》刊登啟事，撥給辦公用房，並出席成立大會和講話。在當時世界進步潮流的鼓舞下，1918年11月，蔡元培在天安門舉行的慶祝歐戰勝利講演大會的講演中，熱情洋溢地喊出了“勞工神聖”的口號。雖然這時他所說的“勞工”還不是一個嚴格意義上的科學概念，但這個口號一經蔡元培喊出後，很快就在北大和整個知識界流傳開來，成為青年學生和許多報刊的時髦用語，同時也在客觀上激勵了進步青年走向工農之中。
隨著新思想的傳播，守舊頑固勢力把它視同“洪水猛獸”，必欲滅之而後快。五四前夕發生的“林蔡之爭”，就是這種新舊思潮大激戰的一個突出表現。當時，社會上謠言四起，一些報刊連篇累牘地登載攻擊北大、詆毀蔡元培和新派教授的文字。1919年2月，桐城派古文家、封建文化的衛道士林紓，帶頭在上海《新申報》上發表文言小說《荊生》，以影射手法對北大新派人物陳獨秀、胡適、錢玄同等進行辱罵和攻擊，並幻想借助一個名叫“荊生”的“偉丈夫”，以武力鎮壓新文化運動。3月，他又拋出文言小說《妖夢》，以“白話學堂”來影射北京大學，並極其無聊地寫了一個讚助“毀聖滅倫”的人物“元緒”來影射蔡元培。與此同時，他還發表了《致蔡鶴卿太史書》，羅織罪狀，攻擊北大宣傳新文化是“覆孔孟，鏟倫常”，咒罵新文化的傳播者為“人頭畜鳴”；誣蔡“憑位分勢利而施趨怪走奇之教育”，公然告誡他要“守常為是”。他在信中破口大罵一通之後，又裝模作樣地說“此書上後，可以不必示複。”林紓還直接插手北大，鼓動法科學生張厚載在報端造謠惑眾。一時間大有黑雲壓城之勢。