從丙午秋天到辛亥年，他在嘉興府中學堂和秀水縣高等小學堂擔任功課，又曾辦理過硤石的雙山學堂（單先生本籍在蕭山，但他生長於海寧硤石鎮），以在秀水高小的時間為最長，擔任的功課是國文、曆史、地理。他丁未年辦理雙山學堂，在秩序上大加整頓，他校職員不得亂入教室宿舍；又把一間土地堂改作廁所；他把原有的“舉人”“進士”等匾額一一撤了下來：因此三事，大大的得罪了當地的紳士們，於是他就拂袖而去了。至於他所教的這些功課，實在不是他所喜歡的。他極願意研究教育，又喜歡植物學。那時我和朱蓬仙先生都在日本留學，他常常寫信來托我們買些關於教育和植物的書。又他在丙午年，曾取張之洞的“奏定學堂章程”，就其中蒙養院和小學堂兩部分，根據新教育原理，駁斥其謬誤。故自壬寅到辛亥這十年中，可說是單先生研究教育的時期。
在此時期中，他有一點和我相反的意見。戊申己酉兩年，我還在日本，我和今日在會的沈兼士先生、馬幼漁先生等人請章太炎先生講授“小學”——即文字學，我們很感興趣，那時我們有極端複古的主張：以為字音應該照顧亭林的主張，依三代古音去讀；字體應該照江艮庭的主張，依古文籀篆去寫，在普通應用上，則廢除揩書，采用草體，以期便於書寫。
我將這個意見寫信告訴他。他認為文字學是極應研究的，而複古的主張則表示反對。他以為不但三代古音可以不必恢複，在小學教育上還應該用方音讀書：比方“人”字，官音念作“ㄖㄣ”，而在江浙卻不妨依方音念作“ㄏㄧㄣ”；“父”字舊讀上聲，現在大家都讀去聲，就不妨讀作去聲。隻有采用草體的一節，他卻非常的讚成。由此可見他那時始終是主張適今而反對複古的。
第三期——自民國元年到八年民國元年，先兄擔任浙江圖書館長，請單先生去幫同整理文瀾閣的《四庫全書》。（從此以後，一直到他得病之日止，他對於圖書館編目的事，未嚐間斷，先在浙江，後在北京大學，最後在中央研究院。）文瀾閣的書，遭太平天國的兵燹，毀去不少；後來由杭紳丁氏抄補了一些，但缺失尚多。至民國三四年間，先兄在北京邀集浙江同鄉，集資補抄，即請單先生在杭主持其事。單先生那時悉心搜求，從事補抄，又在舊書坊中買回太平天國以前竊售的舊抄也不少。他有時一麵還兼著教課，但他的主要工作則全在圖書館方麵。故此期可說是單先生最盡力於圖書館的時期。
單先生的“為己之學”，此時傾向到“樸學”方麵來了，他對於高郵王氏和德清俞氏的治學方法，最為崇仰。
我還記得民國二年他做過一部關於楊子《法言》的訓詁的書，全是用王俞的方法的。他嚐說：“整理故籍，最要緊的就是求真；要求真，就得講究考證。古書中許多難文誤句，不易懂的地方，現在漸漸能夠讀了，這全是清朝人講究考證的好處。”他對於經書的真偽問題，是讚同晚清今文學家之說的。晚清的今文學家，可以拿康長素先生來做代表。長素先生治經的工作，可以分作兩部分：一部分是辨證《古文經》為劉歆偽作；一部分是發揮《春秋》等書的微言大義。《新學偽經考》是做前一部分工作；而《孔子改製考》、《春秋董氏學》、《春秋筆削大義微言考》、《禮運注》等書，則做後一部分工作。單先生對於古文經，認它是偽造的；而對於“春秋微言大義”，“孔子托古改製”
等說，卻總持存而不論的態度——我看他是不相信的。單先生的主張，實與先師北大講師崔懷瑾（適）先生最為相近，目的隻在辨證古文經之為偽書而已；所以他對於崔先生的《史記探源》是非常之佩服的。故自民國元年到八年這八年中，又可說是單先生講求樸學的時期。