蔡元培還從大學應是研究高深學問，大學生當以研究學術為天職的觀點出發，十分重視研究和提高的工作，大力主張“凡大學必有各種科學的研究所。”後來，他在1930年4月致北大評議會函中，又著重闡明了北大應致力於提高的觀點，主張在當時普通中學已能滿足北大學生來源的情況下，停辦預科，將經費移用於研究所，他說：“為北大發展計，與其求諸量，無寧求諸質，與其普及，無寧提高。”他在論及舉辦大學研究院的必要性時，曾列舉其對教員、畢業生以及在校高級生的三大好處：一，“是大學無研究院，則教員易陷於抄發講義不求進步之陋習。蓋科學的研究，搜集材料，設備儀器，購置參考圖書，或非私人之力所能勝；若大學無此設備，則除一二傑出教員之外，其普通者，將專己守殘，不複為進一步之探求，或在各校兼課，至每星期任三十餘時之教課者亦有之，為學生模範之教員尚且如此，則學風可知矣。”二是，“自立研究院，則凡畢業生之有誌深造者，或留母校，或轉他校，均可為初步之專攻。俟成績卓著，而偶有一種問題，非至某國之某某大學研究院參證者，為一度短期之留學；其成效易睹，經費較省，而且以四千年文化自命之古國，亦稍減倚賴之恥也。”三是，“惟大學既設研究院以後，高年級生之富於學問興趣而並不以學位有無為意者可采德製精神，由研究所導師以嚴格的試驗，定允許其入所與否，此亦獎進學者之一法。”這些主張有利於提高學校的學術水平，且為師生的學術研究創造良好的環境和條件。在這裏，蔡元培既提倡學習外國同時又立足於發展本國的學術機構，這種精神是很可貴的。
早在京師大學堂時，學製上就規定有大學院一級，那時稱“大學院為學問極則之研究，不主講授，不主課程”。後又把大學院改名為通儒院，限以五年。民國初年，蔡元培主持製定的《大學令》中，仍改通儒院為大學院，不立年限；同時頒布了《大學研究院暫行組織規程》，確定大學研究院“其任務為高深學術之研究”，決定在大學設立“研究院招收大學本科畢業生”或“大學高年級生”。但這些規定在當時並沒有能實現。
蔡元培主持北大後，仍積極貫徹他的主張。他後來特別指出：“我那時候有一個理想，以為文、理兩科，是農、工、醫、藥、法、商等應用科學的基礎，而這些應用科學的研究時期，仍然要歸到文理兩科來。所以文理兩科，必須設各種的研究所；而此兩科的教員與畢業生必有若幹人是終身在研究所工作，兼任教員，而不願往別種機關去的。”他在教育部召開的國立高等學校校務討論會上，提出的關於大學改製的議案中，曾建議“大學均分為三級：（一）預科一年，（二）本科三年，（三）研究科二年，凡六年。”後經會議討論議決，確定大學分為二級：預科二年，本科四年，凡六年。但北大仍按原定的在本科之上設立了各科研究所。
1917年底，文、理、法三科各學門先後分別成立了研究所，由校長於各所教員中誰一人為主任。當時設立的研究所及其負責人。
1919年12月，因地質學係已有三年級學生，又決定增設地質學研究所，由何傑任主任。
當時研究所的規則規定，凡本校畢業生都可以誌願入所研究；本校高年級學生，取得研究主任認可後可以入所研究；與本校畢業生有同等程度的學者，誌願入所研究者，經校長認可後得入研究所。同時規定凡具備上述條件而不能到所研究者，經過校長或研究主任的特許，可為通信研究員。這時研究所沒有年限規定，凡符合規定的學生，可根據自己的需要選定研究科目，誌願入所在教師指導下從事研究。當時還沒有建立學位製度。
蔡元培十分注意啟迪學生自動研究的精神，主張應盡量使更多的教員、畢業生和高級生有進研究所獨立研究的機會。“故其所設研究所之門類，愈多愈善，凡大學各院中主要科目，以能完全成立為最善，庶不至使一部分之教員與學生失望。”北大這時建立的研究所，基本是按照文、理、法三科的各個學門建立起來的。雖然它的設備很不完善，離正規化的要求還有距離，但它是當時國內高等學校最早成立的一個研究所，具有首創的意義。
到1918年初，各研究所共有研究員148人（其中畢業生80人，高級生68人），另有通信研究員32人。其中理科研究員僅18人，文科較多，71人。如範文瀾、馮友蘭、葉聖陶、俞平伯等都是這一時期的研究員。
這時各科研究所主要開展以下幾方麵工作：第一、由各門教員分別確定研究科目，指導教員負責主講。研究科目以本門教員為主，別門教員也可根據自己意願提出研究科目，如國文門教員林損曾在哲學門開設了唯心論研究題目。研究所隻設少量專任教員（當時隻有王寵惠、張武、張耀曾等五個專任教員），其他由本科和預科教授兼任。蔡元培為研究所籌得的每月四千五百元經費，則全部用作購置圖書和儀器設備。第二、各門研究所定期舉行報告會。每次報告會由研究員中的一人，報告研究心得和疑難問題，然後由有關教員和研究員討論，提出意見。研究報告記錄經指導教員簽定後，錄一副本，於每學期末送圖書館保存。第三、舉行定期或不定期的講演會，邀請校內外專家作學術講演。如1917年12月3日，哲學門研究所第一次月會上，由蔡元培作了題為《哲學與科學之關係》的講演。第四、指導研究員對其研究的科目寫出論文，論文寫出後須經指導教員審査認可。第五、通信研究員隨時可與本門教員通信討論，其自行研究的結果，應寫出論文一篇，並須經本門教員若幹人審定認可。
1921年12月，蔡元培又決定改組研究所。經學校評議會第三次會議討論，通過了《國立北京大學研究所組織大綱》。按組織大綱規定，研究所分設自然科學、社會科學、國學和外國文學四門；所長由大學校長兼任，各門設主任一人。由校長於本校教授中指任之，任期兩年，經理本門事務。各門研究的問題與方法，由相關各係的教授共同商定。由於學校的經費和人力條件的限製，到1922年，隻開辦了一個國學門。