鄭振鐸在1926年8月30日夜追記避暑會一文中說：到處都張掛著避#會的通告，在莫幹山的嶺下及嶺脊。我們不曉得避暑會是什麼樣的組織，並且不知道以何因緣，他們的通告所占的地位和語氣，似乎都比當地瞥察局的告示顯得冠冕堂皇而且有權威些。他們有一張中文的通吿說：今年本山各工匠擅自加價，每天工資較去年增加了一角。本避署會董事議決，諸工匠此種行動，殊為不合，本年姑且依照他們所增，定為水木各匠，每天發給工資五角。待明年本會大會時再決定辦法。此布。
原來，1898年6月以貝勒、白鼎、伊文思、韓明徳、施牧和當時寓居杭州的英國耶穌教士洪慈恩等為首的洋人所創立的避屠會，就是一個有組織地將莫幹山主權竊為己有，並把山上的治安、衛生、道路、教育以及市政管理、工匠薪水等一切統統抓在手裏，使洋人成為莫幹山主宰者的團夥。他們還恬不知恥地擬定了避#會窣程，並設有董事16人，會長1人，副會長1人，書記及會計各1人。每年召開華事會，在會前一星期將消息登在上海的報紙上。如今編號224號別墅、379號別墅、383號別墅、457號別墅，就是他們當年避暑會的辦公房。除了這些辦公房，避暑會還在三橋埠設一個避暑會公所，照料來往避暑的洋人。
那時候洋人來莫幹山真是越來越方便了。他們大多由上海經杭州到莫幹山。火車到達杭州艮山門車站後，下了車有專門的小火車接送到拱宸橋輪船碼頭，然後再由拱宸橋輪船碼頭的汽船，沿著河流直送莫幹山前的三橋埠。那些挑夫早就等候在三橋埠了。於是他們上了中國人抬的轎子，無論行李多少，都不用自己費心，東西送上山後，一件也不會少。來莫幹山的洋人越來越多，教士、商人、醫生等源源不斷。
宣統元年，一個英國人範約翰將買入的山地轉賣給了德國人安保羅，而安保羅卻手段更為卑劣，到處廉價收買山地，大搞房地產租賃、販賣，從中非法牟取暴利。他們自恃有避暑會作靠山，目無中國法紀，恣意妄為。韓明德在山上後來還建I”公基，造了網球場、遊泳池，並嚴令禁止中國人參與使用。巴布卻在萌山街開起了旅館，招來遊客大獲其利。這時候成百上千的中國人為了糊口謀生，當了轎夫、搬運工、幫傭、泥水匠、木匠，為洋人們服務、效力，當牛做馬。那條雜草叢生彎彎曲曲的石階小路，就是當年轎夫們抬著轎子上山來的羊腸小道。
莫幹山路375號別墅本來是個天主堂，但由於洋人避暑大多帶著家眷，小孩也不少，就辦起了教會小學。教會小學通常以英文為主，也略有德文和法文。那時候這批洋小孩，在莫幹山空氣清新的小學裏讀書；而工匠和轎夫們的小孩，卻山上山下地跑，沒有書讀，隻能聽父母講幹將莫邪的故事。
教會小學附近的一片竹林中有一個遊泳池。那些洋男人和洋女人常在這裏遊泳，尤其是妙齡女郎穿著泳衣，有時會一直走到蔭山街去購物。蔭山街那時候已如同上海的南京路，很繁華昌盛。銀樓、郵局、書館、水果店、牛肉店、成衣店、奎元酒店、如意茶館等一應俱全。戴安娜、露沙和麥絲琪、海倫這兩對美國母女，上麵都隻穿了件背心，下麵穿著短褲短裙在蔭山街閑逛，跟在她們身後的是一隻達克斯狗。
蔭山街海拔600米，懷抱劍池瀑布，上連蘆花蕩，恰似一條銀色帶子，把遠近名勝古跡緊攬住。它的彔色，四季不同。春日雨後，漫山竹筍爭先恐後地破土而出，生意盎然。盛複季節，卻綠陰處處、溪水淙淙，人行竹徑中猶如在深水中潛泳一般。若是深秋，林寒澗肅，環境清幽，使人心曠神怡。而冬日雩景，更是漫天瓊花飛舞，千山雪浪騰湧，一片壯觀景象。
然而，莫幹山所有景色優美的好地方，幾乎都變成了“高鼻子”的天下。這自然激起了莫幹山老百姓的憂憤，也激起了官府中部分有識之士的憤慨和反抗。
宣統三年，浙江巡撫增韞令王豐鎬到上海與美德兩領事館磋商收回莫幹山主權的辦法。據記載當時幾經交涉已有了頭緒，並約定9月17日簽字定約。可是在14日省域杭州爆發了反淸國民起義，簽約的事就被耽擱了下來。辛亥革命後政局多變，一拖又是好多年。
這時候避暑會的氣焰依然很囂張，他們定期召開董事會，已在山上建別墅多達一百四十餘座，公共球場一所，浴池一所，英美兩國合建禮堂一所。而他們避暑會的一切事務，中方無法過問，連起碼的房地產捐都不繳。這真是置中國法紀於不顧，自行其是到了讓中國人難以容忍的程度。
民國十三年武康縣議會認為莫幹山係中國浙江省內地，曆年來有外人建築房屋，地方官應隨時禁止。
庚村車站民國時期，蔭山街的女性已非常時髦。
舊有網球場6處，分設於中華山、蘆花蕩及鐵路、綠陰，菜根香旅館、滴翠軒消夏社（中國旅館）所在地。中華山、蘆花蕩球場由西人英千山避署會創設，專供會資及眷屬皁用。清光緒二十七年，經上海銀行英幹山辦事處經理李珍甫等抗爭，避署會才同意華人介入。其餘4處，分爲4家旅館。備有上等球拍、球網，免費供旅客活動。可雇？仆、女傭拾球，雇8由旅館幫助物色。今網球場均廢。
此事既貽誤於前，自宜補救於後，特呈文省府，提出收回主權。當時的省長張載陽，特派交涉員去上海向美領事交涉，然而美方一拖再拖，得不到結果。省府鑒於“補救於後”的考慮，即令武康等縣地方官，以後不許再讓外人購買土地，並照會各領事：“今後非教會中人，須有遊覽護照方可上山。”
1925年7月，莫幹山瞥察分所所長楊中權通告洋人：遵省府旨令，遊曆須呈驗護照，照約屜行。並在庾村車站等要道處設崗，接令驗證，違者不得上山。洋人對此表示十分不滿，但他們再不滿也沒有敵過中國頒布的法令，於是每天上山的洋人，都隻好乖乖地排隊驗證入山，氣焰有所收斂。
民國十七年（丨），浙江省政府主席張靜江，提出莫幹山事涉主權關係，必須設管理局以專使職權，並下決心，用政治手段來解決30年來之痛案。於是他下令武康縣縣長林彪著手籌備此事。應該說林彪是個對工作認真負責的人，他與助手們以最快的速度，苦心籌措，終於在這年的5月15日宣吿“浙江省莫幹山管理局”正式成立，並擬訂和頒布了《浙江省莫幹山管理暫行組織條例》，決然行使地方政權權力。條例中，管理局有權按令征收房警捐。
房警捐首先使避暑會大為懊惱和光火，接著各國領事也對此事起了非議與刁難。然而時任武康縣縣長兼管理局局長的林彪，堅持原立場，指出洋人置屋莫幹，受到我國保護，理應依法納稅，各國領事不得幹涉中國內政。
李珍浦是最早住在莫幹山別墅裏的中國人之一，他精通外語又熱心公務。管理局局長林彪就請他寫一份外文告示，然後四處張貼，聲明如有抗稅者，當封其屋。洋人無奈，隻得遵章納稅，但對此仍不甘心。他們寫文章發表在外文報刊上，對征稅大肆攻擊，製造輿論，欲挑起事端，以求一逞。這時候李珍浦愛國心熾，特著長篇論文，據理嚴加駁斥，也投寄在外文報刊上。
後來李珍浦的論文發表出來了，洋人們見到論文一個個驚訝得目瞪口呆。從此，住在莫幹山的洋人，包括他們的避暑會，氣焰開始低落。而此時主權收回後，莫幹山來了大批國人新戶主。到了20世紀30年代初，不僅上海、江浙的不少富商豪門在此設房短住，而且來此遊覽避暑的國民黨要人、軍閥權貴也很多。他們紛紛在山上覓地築樓，比洋人造得更漯亮，出現了亭台樓榭如披畫圖的景象。如今的莫幹山管理局辦公樓（即94號別墅、97號別墅〉就是當年的產物。
白雲山館朝南陽台帶凹圓槽的柱身，具有希臘柱式的高貴和單純。
一、蔣介石義兄黃郛有人說20世紀二三十年代，在莫幹山中國別墅業主中，要算蔣介石的義兄黃郛官最大、最富有了。黃郛1927年從英國人廖平思手裏一下購得兩棟別墅，它們就是如今編號為509和515號別墅。這兩棟別墅差異很大，前者具有皇家氣派，後者卻普普通通。我對有獨特風格的別墅總是流連忘返，它們的魅力在於自身敘述的語言。所以，如果說一個域市的魅力是她建築風格的魅力，那麼一座山的魅力，便是掩映在起伏高低的樹林中別墅風格的魅力了。509號別墅被黃郛取名“白雲山館”，其“白雲”就是他與夫人的名字合而為一的意思。