書香世家，舊學功底
俞平伯原籍浙江德清，出生在蘇州馬醫科巷曲園中的樂知堂。德清縣俞氏自清末以來就是大姓，近代著名士林人物俞樾（字曲園）正是俞平伯的曾祖父。俞平伯出生時，曾祖父已80歲高齡了，他對這數代單傳的曾孫疼愛逾常。
俞平伯3歲時，雖然還不會寫字，但喜歡用筆塗抹。俞老先生非常高興，於是每天就親自用紅朱筆寫“上大人、孔乙己”等字，讓他的曾孫用墨筆描紅。老人有詩紀之，詩曰：
嬌小曾孫愛如珍，憐他塗抹未停勻。
晨窗日日磨丹硯，描紙親書“上大人”。
他開始讀書，是在清光緒二十九年癸卯（1903）正月初八，虛歲剛5歲。曾祖俞曲園認為：“是日甲子於五行屬金，於二十八宿遇奎，文明之兆也。”而他自己後來於1932年9月8日在《戒壇瑣記》中寫道：“四五歲入寺掛名為僧，對於菩薩天王有一種親切而兼怖畏之感，甚至於眠裏夢裏都被這些偶像所纏擾，至今未已。這個童年大印象，留下一種對於寺廟的期待。”從此由他的母親來教俞平伯讀《大學章句》，有時還由他長姊俞璡來教唐詩。
清光緒三十年甲辰（1904），俞平伯虛歲6歲，由母親開始教他外文。俞曲園有詩雲：“膝下曾孫才六歲，已將洋字鬥聰明。”
清光緒三十一年乙巳（1905）正月初五，俞平伯入家塾讀書。俞曲園也有詩記之：
廳事東偏隔一牆，卅年安置讀書床。
今朝姊弟新開館，當日爺娘上學堂。
婉孌七齡尚憐幼，扶搖萬裏望彌長。
待攜第二重孫至，記得金奎日最長。
為俞平伯請的塾師，是很有學問的宿儒謝敬仲。這年端午節，俞曲園還在俞平伯的扇子上，題了“青雲萬裏”4個字。後來，俞平伯的父親俞陛雲將扇麵揭裱了，並做題記說：“祖庭最愛僧寶，此為晚年所書，期望至厚。”
俞曲園去世時，俞平伯虛歲8歲，他十分悲痛。老人葬於杭州西湖右台山法相寺旁。參加曾祖父的葬禮，是俞平伯第一次到杭州。
就在這時期，清朝廢除了科舉。後來俞平伯回憶道：“餘於詩未有所受。群經呫嗶之暇，日課一對，時有拙言，共引為笑。”還說：“我小時候還沒有廢科舉，雖然父親做詩，但並不讓我念詩；平時專門背經書，是為了準備科舉考試。在我八九歲時廢除了科舉，此後古書才念得少了。不過小時候背熟了的書，到後來還是起了作用。”俞平伯沒趕上科舉考試，但趕上了準備科舉考試的讀書背書，並且養成了誦讀的習慣；這對他後來成為詩人，對詩詞有研究，是大有好處的。現在的兒童教育與小學教育不注重背書，其實是很大的失誤。
辛亥革命前夕，俞平伯12歲。為避亂，全家由蘇州搬到上海。在這前後1年裏，俞平伯除繼續讀古文之外，又係統學習了英文和數學。也是在此時，他接受了大量新思想、新事物。後來他曾有詩記錄此事：
從此神州事事新，再無皇帝管人民。
紀年遠溯軒轅氏，又道崇禎是好人。
1911年，俞平伯13歲，他開始讀《紅樓夢》。這是讀閑書、讀小說，而且還不能完全讀懂，他也不太感興趣。後來在一篇文章中他還說，“而且不覺得十分好。”這完全是真實的。他說：“那時我心目中的好書，是《西遊記》、《三國演義》、《蕩寇誌》之類，《紅樓夢》是算不得什麼的。”13歲的男孩不懂《紅樓夢》、不愛《紅樓夢》，那完全是合乎常情的。
就在這年冬，俞家又搬回了蘇州。俞平伯在家讀書，直到1915年春，才入蘇州平江中學讀書，但也隻讀了半年。
在北大讀書，熱愛新文學
俞平伯從小受到了良好的家庭教育和文化熏陶，奠定了深厚的古典文學基礎。1915年，他入蘇州平江中學讀書；半年後考入國立北京大學文學係預科。俞陛雲把家搬到北京的原因，也正是為了照顧俞平伯在北大上學。當時北大的校址在沙灘漢花園，為了就近，俞陛雲把家安在東華門箭杆胡同，兩處相距的距離不遠。
1915年，俞平伯開始與傅斯年、許德珩在北京大學同學。傅斯年由預科升入文科國文門，許德珩則由英文學門轉入國文門。俞平伯在國學大師黃侃的指導下，正課之外開始讀《清真詞》，為後來研究《清真詞》打下了堅實的基礎。
後來他在《清真詞釋·序》的一開頭便這樣寫道：“我小時候於詞毫無了解，最大的困難為‘讀不斷’。詩非五言定七言，詞卻不然了，滿紙花紅柳綠的字麵，使人迷眩驚奇。有一些詞似乎怎麼讀都成，也就是怎麼讀都不大成。這個困難似乎令人好笑，卻是事實。”這其實是舊時讀書人普遍遇到的共同困難，因為舊書都沒有標點。現在的讀書人已讀不到線裝書，似乎詞的斷句好像倒不成問題了，其實讀古文的能力是更差了。如果直接去讀沒標點的線裝書，那豈止讀不斷書，跟看天書也差不多呀！
1917年，北大教授胡適在《新青年》第2卷第5期發表《文學改良芻議》一文，提出改良文學的“八不主義”。俞平伯對寫白話文是積極響應的。
同年1月4日，蔡元培出任北京大學校長，推行“學術自由，兼蓄並包”的辦學方針，開創了北大的良好校風。蔡元培在就任演說中強調指出：“大學者，研究高深學問者也。”他還諄諄告誡大學生說：“大學生當以研究學術為天職，不當以大學為升官發財之階梯。”這真是擲地有聲的言辭，它深深地影響著一代學人誌士。
這年1月15日，陳獨秀被蔡元培聘為北京大學文科學長。因此，著名的《新青年》雜誌編輯部也隨之從滬遷京，就設在陳獨秀的家中。而陳獨秀的家就在箭杆胡同9號，與俞家成了近鄰。陳獨秀在《新青年》第2卷第6期發表的《文學革命論》中提出：“推倒雕琢的、阿諛的貴族文學，建設新鮮的、立誠的寫實文學，推倒迂誨的、艱澀的山林文學，建設明了的、通俗的社會文學。”俞平伯對此也十分讚同。