先生祖居浙江紹興道墟杜浦陳家。
曾祖在家務農。
祖父永福公挑了一擔紹興土貨，徒步走到杭州做買賣，然後在杭州定居下來。
父親清榮公就出生在杭州。當父親長大自立後，就在杭州城北青莎鎮散花灘買地，散花灘又名倉基上，可能是南宋時藏糧之處，位於大運河尾段，四麵環水，有三座橋通市，水陸交通方便，環境優美，杭城不少達官貴人都在此擇地建房。父親建造的陳宅共有四座建築，主樓廳名“尚德堂”，後麵走馬樓名“愛吾廬”，牆後一座三開間稱東花廳，主樓大廳之東的半洋樓稱新花廳。“尚德堂”是祭祀和接待賓客的地方；“愛吾廬”是上房，先生的父母和哥哥姐姐都住在此樓裏；東花廳三開間是祖母吃素念經、頤養天年之處；新花廳造得較晚，式樣較新，是三開間圍廊的半洋樓，樓下作休息室，樓上作臥室，樓前有花園，樓後增設書房，這是父親晚年靜居養病之所。鄰居都是本地大族，書香人家。
1918年11月27日 先生就出生在杭州城北青莎鎮散花灘“愛吾廬”的左廂樓上。父母因老年得子，對他特別寵愛。一方麵父母望子成龍心切，另一方麵受鄰居影響，五歲時，他就破蒙進私塾讀書了。
二十年代
1923年 五歲向孔夫子叩了頭，破蒙之後，算是讀書了。他因年紀太小，又體弱多病，常留家中，由父親母親親自教讀書、臨帖，培養了他的學習興趣。
1924年9月25日（農曆八月二十七日）下午一時四十分許忽聞轟然一聲，經打聽後得知雷峰塔倒塌了。當時正傳軍閥孫傳芳占領浙江，他專車剛到城站之時，雷峰塔就倒下了。
這一年，父親正在家患重病。
1926年 八歲。正式入私塾，幼年讀的第一本書是《千家詩》，篇篇都會背。
塾中學習嚴肅單調，一天到晚讀書、背書、習字、造句，但塾師的一絲不苟，為先生打下了良好的文化基礎，也培養了他驚人的記憶力。
這一年父親永遠地離開了他們。
1928年 十歲。這年春天告別私塾，到鎮上的一所基督教會小學讀書，插班三年級，家人認為教會學校古文弱，放學後仍讀古文，母親托老姑父陳儒英先生教《古文觀止》、《唐詩三百首》、《幼學瓊林》及有關人物傳略、曆史、地理等常識。
先生愛讀《幼學瓊林》一書，這對先生後來學建築和園林藝術起了主要作用。學習古文，為先生打下了堅實的文史哲基礎。
三十年代
1930年 十二歲（虛齡十三歲）。進入杭州惠蘭中學讀初中。
1931年 十三歲。轉學到鹽務中學。
初冬早晨，正在中學教科書上讀徐誌摩的《想飛》一文，背誦“飛其翼若垂天之雲、 、 我們鎮上的東關鄉”時，同學蔣德修告訴先生11月19日徐誌摩在山東墜機的噩耗。蔣是硤石人，徐的同鄉。先生僅在童年時，在自家花廳中僅見過徐的背影，但印象總消失不了。先生愛讀他的詩文，他的性靈深深地感染了先生的氣質。
1934年 十六歲。先生曾遊浙江普陀山，雖垂髫之年所見，但對古寺、佛殿建築規模記憶猶新，自幼對木構架建築興趣特濃。
《憶少年時遊普陀山》。
1938年 二十歲。入之江大學文學係中國語言文學專業學習，夏承燾先生和王蘧常先生教他古詩詞。
四十年代
1940年 寫了四首餞春詩（時年二十二歲，虛齡二十三歲）
一
春去春水各天涯，但對芳樽醉落花；
千轉貢鶯留不往，一簾風絮月西斜。
二
閑秋無計托聲詩，未語從前已自癡；
最是小樓風雨夜，孤燈明滅送春時。
三
纖腰楊柳舞婆娑，輕絮方池點綠波；
曲徑舊曾低語處，疏林悄悄夕陽多。
四
春歸遠容未曾歸，惆悵中庭畫角悲；
蜂亂蝶忙誰解得，閑愁最誤少年時。
1942年 之江大學畢業。畢業後受聘於杭州浙江省立高級中學、杭州市師範學校，教國文和曆史。當時，之江大學建築係主任陳植（直生）先生公子陳艾先是先生的學生，兩家有世誼和鄉誼，又是附近鄰居，先生常去陳家借建築方麵的書，並得到陳植先生的指導。
約1944年 應陳植先生之聘，進之江大學建築係教中國建築史，任副教授。
1944年 與海寧蔣定（原名婷）結婚，介紹人是徐誌摩兒子積鍇，蔣是徐誌摩姻兄妹。
1946年 在滬遊學，被張大千先生賞識，拜張大千先生為師，正式成為“大風堂”入室弟子，學習繪畫。
1947年 進聖約翰大學，先在附中教國文、美術、曆史等，後被聘為大學部建築係副教授，教中國建築史和中國營造法。住進聖約翰大學內約園。
因住上海，積鍇母親幼儀和夫人張粹文都跟先生學繪畫，先生隔三五天便上徐家（即華山路花園徐宅，此屋在誌摩歿後所建），使先生進一步了解了許多誌摩生前的事，幼儀把凡有關誌摩的遺物都交先生妥為保管，其中有一張誌摩簽名照和兩本用連史紙毛筆寫的本子：《誌摩隨筆》、《誌摩日記》。