自1955年始，在全國範圍內陸續展開了對“以梁思成為代表的資產階級唯美主義的複古主義建築思想”批判。“文革”開始後，梁思成被造反派打成與彭真一夥的“反黨分子、混進黨內的大右派、反動學術權威”受到批鬥。據梁思成續弦夫人林洙（南按：1962年梁思成與清華大學建築係資料員林洙女士結婚）回憶：“我最怕的事終於發生了。那天我正在係館門口看大字報，突然一個人從係館裏被人推了出來，胸前掛著一塊巨大的黑牌子，上麵用白字寫著‘反動學術權威梁思成’，還在‘梁思成’三個字上打了一個‘×’。係館門口的人群‘轟’的一聲笑開了。他彎著腰踉蹌了幾步，幾乎跌倒，又吃力地往前走去。我轉過臉來，一瞬間正與他的目光相遇。天啊！我無法形容我愛的這位正直的學者所表現出來的那種強烈的屈辱與羞愧的神情。……那一天回到家裏，我們彼此幾乎不敢交談，為的是怕碰到對方的痛處。從此他一出門就必須掛上這塊黑牌子。看著他蹣跚而行的身影，接連好幾天我腦子裏一直在重複著一句話：‘被侮辱與被傷害的’。”[58]
1966年8月，戴紅袖章的紅衛兵造反派以“破四舊”（破除舊思想、舊文化、舊風俗、舊習慣）的名義，開始在校園內外幹起了打砸搶燒、殺人越貨的勾當。清華園中的梁家時刻擔心遭到洗劫，但這一天還是到來了。大約9月中旬，一個涼風突起的夜晚，一群“紅衛兵革命闖將”用鐵榔頭砸開了梁家的院門，氣勢洶洶地衝了進來，為首的頭目高聲叫喊著讓梁思成全家站在一個地方，然後衝進屋內翻箱倒櫃地搜查起來。半小時後，見沒有找到心中渴望的值得賣錢的文物和存款，一個頭目模樣的紅衛兵垂頭喪氣地把在廚房擺放的西餐具中的全套刀叉收到一起（大小共36件），而後一把將站在門口惶恐不安的梁思成拽過來質問道：“家裏藏這麼多刀子幹什麼，是不是想謀反暴動，搞反革命政變？”站在一旁的林洙剛要開口辯解，“啪”的一聲挨了一記耳光，林洙深感委屈又不敢抗爭，雙手捂臉抽泣起來。正在這時，突然從老太太（南按：林徽因之母，一直隨梁思成一家生活）的房間裏哇哇亂叫著衝出兩位“闖將”，手裏搖晃著一把寒光閃耀的短劍，大聲嚷道：“蔣介石，蔣介石，我們發現了蔣幫特務的罪證。”眾人大嘩，紛紛擁上前去觀看，隻見短劍上鐫刻著“蔣中正贈”四個字。梁氏一家老小見狀大驚失色，梁思成剛要上前解釋，就被一頓亂拳打倒在地，抽泣中的林洙衝上前欲救梁，被幾腳踹翻。紅衛兵頭目趁勢把手往空中一揮，牙縫裏蹦出一個重重的“走”字，一行人攜劍帶刀（具）另抱著一堆搜查的東西，屎殼郎搬家一樣“轟”的一聲擁了出去。老太太見短劍被人掠走，“嗚嗚”地放聲哭了起來。
事後林洙才知，這把短劍是老太太的兒子即林徽因同父異母的弟弟林恒當年於空軍航空學校畢業時，校方以“名譽校長”蔣介石的名義頒發的用於禮服上的佩劍，當時凡蔣介石擔任校長或名譽校長的軍事院校，學員在畢業時都可得到一把精製的鐫刻“蔣中正贈”的佩劍。在當時的軍人看來，這把佩劍象征著身份與榮耀，當然還有保家衛國、抵禦外虜的天職與責任。1940年年底，林恒在成都陣亡後，梁思成前往處理後事並把他的遺物帶回李莊，先是藏起來未做聲張，後老太太終於得知這一噩耗，便把部分遺物包括這把佩劍交給她保存。林母在哀痛中把遺物包裹在一個黑色包袱裏並放進木箱的箱底，做永久珍藏。這把短劍隨梁家越過千山萬水，終於在北京安頓下來。事隔多年，當梁家老少已經逐漸遺忘的時候，短劍又橫空出世，大禍隨之降臨。
從梁思成家抄出蔣介石親自贈送的寶劍的消息很快在清華園傳開，立即引起了各種政治派係和造反派的高度關注，梁思成遂以“國民黨潛伏特務”罪名，被造反派從家中揪出，關到清華建築係一個場館內，與外界隔離起來，以防“與國民黨內外勾結，助蔣幫竄返大陸”。此時的清華園早已籠罩在白色或謂紅色恐怖之中，造反派在全校展開大搜捕，大批教授被抓，開始在皮帶與棍棒交織爆響中接受殘酷的折磨，幾乎每個星期甚至每一天都有自殺和被殺的消息傳出，整個清華園浸染在鮮血飛濺、人哭鬼叫的哀號之中，梁思成就在這陣陣哀號聲中遭受著日甚一日的殘酷蹂躪與折磨。