辛酉政變不久，慈禧以同治小皇帝的名義發布一道諭旨，命令避暑山莊的一切工程全部停止：“熱河避暑山莊停止巡幸已四十餘年，所有殿亭各工，日久未修，多就傾圮。上年我皇考大行皇帝舉行秋獼，駐蹕山莊，不得已於各處緊要工程稍加葺治。現在梓宮已恭奉回京，朕奉兩宮皇太後亦已旋蹕，所有熱河一切未竟工程，著即停止！”再不久，慈禧動用海軍經費，經營北京西郊的頤和園，避暑山莊因不再使用而任其傾圮。隨著時間的推移，風雨的侵襲，建築物都已屋頂滲漏，木料糟朽，瓦壟鬆散，獸吻摔碎，壁畫褪色，彩繪剝落，石條風化，牆麵鼓閃。迨至清朝末年，山莊內的文園和珠源寺的部分建築已經坍塌，山莊外的寺廟也已荒涼破敗。曾經煊赫一時的殿宇廟堂滿目荒涼，處處殘牆頹壁。
北洋軍閥時期，避暑山莊遭到前所未有的浩劫。熊希齡出任熱河都統後令其親信楊顯儒清點山莊內寶物，楊借機將珍貴文物隨意贈人或據為已有。
1933年1月，日本鬼子攻陷山海關、威脅華北時，國民黨政府將屬於故宮博物院古物陳列所的文物運往南京，這期間又有失盜、以假代真的盜寶案發生，寄存於古物陳列所的避暑山莊珍寶，又遭到了一次毀滅性的掠奪。
毅軍軍閥薑桂題出任熱河都統後，大肆拆毀山莊內的建築，瘋狂地盜賣木材。有據可查的是，山莊內的戒得堂、彙萬總春之廟、金山的鏡水雲岑殿和芳洲亭，熱河泉南岸的香遠益清殿和北岸的萍香遊，永佑寺除舍利塔以外的全部殿宇，山區鬆林峪的食蔗居，西峪的有真意軒，鬆雲峽口的雲容水態，峽內的淩太虛，青楓綠嶼以東的畫窗，山區南部的綺望樓，悉被毅軍毀掉。
不僅如此，薑氏還以陳列文物為名，將一些珍貴文物裝船運走。其中，有溥善寺七間殿的銀質喇嘛塔，普樂寺宗印殿的全部供器和法器，殊像寺會乘殿中楠木佛龕裏的金、玉、翠質小佛，乾隆使用過的金碗筷、瓷盤，文殊菩薩身上的一百零八顆珍珠等等。號稱“喬木千章，香園十頃”，位於溥仁寺與安遠廟之間廣闊的自然林帶，也在薑氏的暗示下，被毅軍於1915年和1917年兩次砍伐賣掉。
1928年7月19日，湯玉麟在取得張學良同意後，以熱河保安司令的名義通電易旗——改五色旗為國民黨政府的國旗，熱河從形式上統一於南京國民黨新軍閥政府，但事實上仍是湯獨霸一方。湯玉麟統治熱河期間，避暑山莊的文物和建築，又一次遭到洗劫和破壞。
約略計之，湯玉麟從普寧寺盜走金絲藏毯一塊，古銅香爐四個，刺繡金剛佛掛像十軸，乾隆禦筆緞地刺繡對聯一副，藏泥貼金小佛七千餘尊；從普佑寺法輪殿內盜走銅質釋迦牟尼佛一尊；在普陀宗乘之廟，湯玉麟盜走千佛閣的鍍金銅佛九百多尊，緙絲緞繡佛掛像一軸，銅大鍾一口，銅十八羅漢全部，鍍金琺琅塔一座；在須彌福壽之廟，湯盜走樟木經箱十二個，緞子刺繡對聯五幅，金瓦滴水八十四塊，門道楠木站板三十塊；從殊像寺盜去裝飾有九十九顆珍珠的文殊菩薩經一部，鍍金銅佛七百二十尊，銅五供一套，絹地絲邊畫釋迦牟尼佛像十軸，鍍金銅釋迦佛一尊；從普樂寺盜走琉璃塔鍍金頂八個；從溥仁寺盜走楠木塔二座，嵌金銅琺琅塔二座，銅製及木製八寶供器二份，計三十多件；從溥善寺盜走鍍金銀塔一座，鍍金銅釋迦牟尼佛一尊，絹地綾邊畫佛像三十軸。
湯玉麟破壞古建，瘋狂砍伐樹木的數量也十分驚人。僅以外八廟計，至少拆掉走廊、回廊九十九間、佛殿一百六十間、僧房二百三十五間；普寧寺妙嚴室、普佑寺大方廣殿山門、普陀宗乘之廟白台三座；砍伐古鬆、老榆、巨槐共兩幹八百多棵。