在狂暴的洪流中，那些原本就是異己階層的人自然更是難逃大劫。
1966年9月14日，國務院決定公私合營企業全部改為國營企業，向資本家發放的定息一律取消。那些資本家成了紅衛兵批鬥的重要對象。在1956年積極配合政府改造政策的“北樂南榮”都下場悲慘。同仁堂的樂鬆生整天被掛牌批鬥，他的妻子在一次遊街後憤而自殺，樂鬆生本人在1968年被迫害致死，時年僅60歲。
當時在紡織部任職的陳錦華回憶了榮毅仁的遭遇：
1966年8月18日，毛主席在天安門接見紅衛兵以後，北京的紅衛兵運動就如火如荼。8月20日，北師大女附中的女紅衛兵們衝到位於北太平莊的榮毅仁家裏，大肆打砸。他們批鬥榮毅仁，把他和妻子楊鑒清的頭發剃成了“陰陽頭”（“文革”時期的一個流行做法，把頭發剃一半、留一半，以示羞辱）。榮毅仁的右手食指被打斷，楊鑒清被毆打成腦震蕩。紅衛兵還用他家裏的攝像機把經過錄下來，要寄到他在海外的親戚那裏。在批鬥空隙，榮毅仁偷偷給紡織部的一個秘書打電話，用上海話說：“你趕快向部裏反映，我實在吃不消了。”
當時擔任紡織部機關文化革命委員會主任的陳錦華得悉這一情況後，馬上向部黨組書記錢之光作了報告。紡織部一開始想把榮毅仁送到北京醫院躲起來，不料醫院院長回複說：“不行哪，我們這裏已樓上樓下鬥開了，都鬥了好幾批了。送到我們這個地方，不一樣挨鬥嗎？”錢之光隻好給總理辦公室送了“特急件”。第二天淩晨1點多鍾，錢之光被周恩來總理緊急召到人民大會堂，總理交代說：“現在我們隻能管兩個人了，一個是宋慶齡，一個是郭沫若。其他人你們自己想辦法。榮毅仁你們一定要保護好，他是中國民族資產階級的代表人物，在國際國內都有影響，一定要保護好。”
錢之光回到紡織部，就跟陳錦華等人商量對策。當時社會上已經開始興起“紅對紅”，就是以機關的紅衛兵對付外麵的紅衛兵。他們把部機關的紅衛兵頭頭找來，要他帶人連夜趕到榮毅仁家裏去，以開批鬥會的名義把榮毅仁救出來。此計甚靈，居然真的把女紅衛兵們連哄帶騙地攆走了。
這些人一撤，榮毅仁提出趕緊把妻子楊鑒清送到醫院治療。可是送到哪個醫院都不收，都不肯給她治病。部機關的紅衛兵頭頭很機靈，就把她送到積水潭醫院，先是高呼了一番革命口號，然後說這個人是重要的人證，需要她來錄口供，不能讓她死掉，你們一定要想辦法給她治療。醫院一聽是重要的人證，這才答應趕緊醫治，楊鑒清的命總算保下。
對於榮毅仁一家來說，這僅僅是厄運的開始。不久後，保護他的錢之光、陳錦華等人也被打倒了。榮毅仁一次次被批鬥，他的左眼因延誤治療而致失明。1968年之後，他被送到全國工商聯機關勞動改造，先是在鍋爐房裏運煤，後來專職打掃廁所。與他一起幹活的是上海灘時期的老相識、工商聯副秘書長經叔平。計泓賡在《榮毅仁傳》中記載說：“榮毅仁幹得很認真，馬桶有尿堿，他就自己掏錢買來鹽酸，把馬桶刷得幹幹淨淨。”他的獨子榮智健被下放到十分偏遠的四川涼山彝族自治州，一幹就是八年。榮智健日後回憶說：“我每天和工人、民工摸爬滾打在一起，抬石頭，挖土方，搬機器設備，背氧氣瓶上山下山，爬上半空架設高壓電纜，什麼粗活重活都幹過。”