由於二陳控製了國民黨，本是為蔣家當看門奴，誰知黨內外流傳“蔣家天下陳家黨”，引起了蔣介石的注意。1944年蔣經國調至重慶，擔任三青團組訓處長，不久搞“黨團合並”，小蔣一躍為中央委員。黨校（中央政治學校）、團校（中央幹校）合並為中央政治大學，這本是 CC的大本營，蔣介石竟派小蔣出任教育長。陳氏兄弟翻臉不認人，發動 CC教職員、學生公開反對。以後選舉總統、副總統是焦點，老蔣下令 CC要選出孫科，誰知 台北立委梁肅戎“反蔣勢力”大聯合，選出桂係李宗仁。不到一年，李宗仁對蔣“逼宮”，迫使他下野。
相反，陳立夫個人則以大數字選票當上立法院副院長。蔣不僅當麵把陳立夫罵了一頓，計劃重組國民黨。1949年 9月，蔣以國民黨總裁身份飛到重慶，此時蔣以小蔣為中心籌備國民黨改造委員會，以軍方陳誠和黃埔複興社人員，主要是蔣經國“太子係”骨幹以及投靠小蔣的 CC分子張道藩、胡建中，並以原 CC係任社會部長的穀正綱（投靠小蔣）等人為主體，從重慶逃到台北後，蔣介石至台北複職後於 1950年 7月公布了“改委”名單，除了上述一些人外，在元老中聘為不管事的 25名評委中，陳果夫擺在最後，陳果夫已奄奄一息，病入膏肓。此時獨掌 CC大權，年僅 50歲，心身健康的陳立夫不僅榜上無名，相反，老蔣送了他 5萬元美金，令他 24小時離開台北。陳隻有提著皮箱匆匆從瑞士轉往美國，從此以後在新澤西州養“來亨雞”為業。還要上街推銷皮蛋、鹽蛋維持生活。直到 1966年蔣介石 80歲，小蔣當上行政院政委兼上將國防部長，已是大權在握了，才給陳寫信喊他返台祝壽。1969年陳定居台北。此時垂垂老矣，總算結束了 20年流放生活。返台後老蔣還給他一個“谘詢”養老。從此沉默寡言，難得糊塗。直到老蔣、小蔣先後去世，李登輝當了小朝廷“總統”，殘餘的 CC勢力才又活躍起來。陳立夫越老越活躍。一位在當時台北政壇威信頗著的梁肅戎，抗戰期中，僅 20歲，參加CC，並在東北做地下工作，至台北不過30多歲，他非常尊敬已 90多歲的陳立夫。他向陳自我介紹說：“你是我的領導，你是老 CC，我是小 CC。”陳語：“什麼 CC，我都不知道？”又一次，有人問他1950年被逐出台北一事，他一概否認，決不說一句埋怨老蔣的話。因此很多人說：“裝糊塗了”！其實陳並不糊塗。他堅決反對李登輝的“兩國論”，也曾婉言勸過李，李不聽他的一套。陳在 95歲以後多次發表“中國統一”的演說，他說：“天下沒有解決不了的事，中國人很聰明，隻要雙方有誠意，中國統一是可以和平解決的。”他還聯合 34名國民黨中評委聯名提出：“以中國文化統一中國，建立共信，以投資共同實現國父實業計劃。”引發“統派”勢力的增長。在他支持下，梁肅戎組織了“海峽兩岸和平統一促進會”。梁還率領該團人員赴美國等地，在華僑中宣傳“和平統一”。
陳立夫一直到百歲，還致力於中國“和平統一”的促進工作。102歲，陳在台北病故。