蔣夢麟是蔡元培的學生，兩人又先後擔任北大校長，故而在近代中國教育史上，蔣的光芒總被蔡先生覆蓋著。他晚年在台灣的時候，和曾代理過北大校長的傅斯年談到蔡元培和胡適，傅稱：“孟鄰先生學問比不上孑民（蔡元培）先生，辦事卻比蔡先生高明。我自己學問比不上胡適，辦事卻比胡適高明。”蔣笑言：“這話對極了。所以他們兩位是北大的功臣，我們兩個人不過是北大的‘功狗’。”
談到老北大的教授們，他謙虛地說：“北京大學好比是梁山泊，我就是一個無用的宋江，一無所長，不過什麼都知道一點，因為我經常找他們的書看。古語所謂‘家近通衢，不問而多知’。我在大學多年，總是博而不專，就是這個道理。”
蔣夢麟出生優渥，祖父做過上海一家銀莊的經理，父親又精於商道，掙下萬貫家財。11歲的時候，蔣夢麟到浙江紹興中西學堂讀書，在這裏他遇到蔡元培。蔡元培當時辭去翰林院編修的官職，應浙江知府之邀出任中西學堂監督（校長）。蔣夢麟回憶初見蔡元培，滿懷敬仰地說：“一個秋月當空的晚上，在紹興中西學堂的花廳裏，佳賓會集，杯盤交錯。忽地有一位文質彬彬、身材短小、儒雅風流、韶華三十餘的才子，在席間高舉了酒杯，大聲道：‘康有為，梁啟超，變法不徹底，哼！我！……’大家一陣大笑，掌聲如雨打芭蕉。”不想20多年後，蔣夢麟多次替恩師代掌北大。
科舉製度被廢除後，蔣夢麟自費到美國求學，他在哥倫比亞大學時，結識了胡適、宋子文等人，他與二人均私交甚篤，後來蔣主政北大期間，胡適一直是他的重要合作者；而宋子文擔任國民政府行政院長的時候，執意請蔣擔任秘書長。美國留學8年，蔣夢麟深刻體會到“對本國文化的了解愈深，對西方文化的了解愈易”，他到北大後，十分重視中西結合、文理貫通，要求入外文係者須有國文功底，入國文係者需有外文成績。五四運動時，蔡元培為救學生憤而辭職出走，校委會推薦蔣夢麟為代校長。
蔣受蔡之委托，在內外夾攻之下苦撐，對於別人的質疑，他在大會上說：“我隻是蔡先生派來按印子的，一切仍由各位主持。”蔡元培曾坦承道：“綜計我居北京大學校長的名義，十年有半；而實際在校辦事，不過五年有半。”蔡在職而不在校期間，蔣夢麟就代為處理行政事務。當時就有人評價：“這五六年來的北大校長，與其說是蔡元培，不如說是蔣夢麟。”
國民革命軍北伐的時候，張作霖之安國軍政府在北京到處抓革命黨，北大也遭到了蹂躪，大批教授和進步學生紛紛南下。蔣夢麟去了南京，應邀擔任了南京國民政府的教育部長。到了1930年，蔣夢麟受命再回北大擔校長時，北大已經千瘡百孔了。
重掌北大的蔣夢麟有個很尷尬的身份——他是國民政府指派下來的，而並非選舉產生的，故而顯得威望不夠。到了學校後，他開始了大刀闊斧的改革，把學術和事務劃分開來，強調層層分工，各司其職，明確提出“教授治學，學生求學，職員治事，校長治校”。他還對胡適等各院院長說：“辭退舊人，我去做，選聘請新人，你們去做。”
蔣夢麟辭舊聘新，被一些北大教授批為“獨裁”，但他的確聘來了最好的教授，如理學院的丁文江、李四光等8人，文學院周作人、徐誌摩等5人，都是當時首屈一指的青年才俊。他不主張學生參加政治運動，認為這是“中國的成年人和老人不肯出來負責任的必然結果”，而“未成年的一代人應該有安心求學的權力”。
“九·一八”事變發生後，蔣夢麟與清華的梅貽琦等大學校長聯名發表《告同學書》《第二次告同學書》，提出“赤手空拳的群眾活動隻有荒廢學業，絕非有效的救國方法”，希望同學們“馬上複課吧！先盡我們的責任”。多年後，他回憶說：“從民國19年到民國26年的7年內，我一直把握著北大之舵……一度曾是革命活動和學生運動漩渦的北大，已經逐漸變為學術中心了。”
抗戰期間，北大、清華、南開三校遷入後方，為了整合資源，國民政府決議暫時將三校合並，委托蔣夢麟、梅貽琦、張伯苓三位校長主持。南開的張伯苓和清華的梅貽琦還在路上，蔣夢麟先到昆明，有人怕三所大學在一起會產生矛盾，有人甚至說：“假使張、梅兩位校長不來，我們就拆夥好了。”聽到這話，蔣夢麟聲色俱厲地說：“你們這種主張要不得，政府決定要辦一個臨時大學，是要把平津幾個重要的學府在後方繼續下去。我們既然來了，不管有什麼困難，一定要辦起來，不能夠因為張伯苓先生不來，我們就不辦了。這樣一點決心沒有，還談什麼長期抗戰。”