但是蔣介石下野這段時間，他並沒有閑著，他做了兩件事：第一件事，跟宋美齡結婚；第二件事，繼續清黨。
蔣介石在“清黨”中嚐到了甜頭，加之陳立夫、陳果夫等人的擁簇，他怎肯停歇“清黨”之舉。在蔣介石回到老家浙江奉化後，也時不時會問一問陳立夫“清黨事宜”進展如何。
每一次陳立夫都如實彙報，並且說：“‘清黨’是校長的英明決定，為今後革命成功打下基礎……”
1928年蔣介石重新上位後，“清黨”還在繼續。陳立夫公開強調“清黨”的必要性。於是也就有了國民黨二屆四中全會的召開。此次會議全麵背叛了中山先生的三大政策，通過了《整理各地黨務案》和《製止共產黨陰謀案》等決議，進一步“清黨”。而陳立夫等人也隨即著手組織整理黨務，誓死“消滅共產黨”！
為了“清黨”，陳立夫先是招兵買馬，後來又是捋起袖子親自上陣！陳立夫與哥哥陳果夫合謀，挑選了一些既熟悉黨務內部又堅定的反共分子參與“清黨”。這其中包括張道藩、於井塘等人。
此時蔣介石已經取得政治、軍事上的大權，但是他心裏明白：人心難測、政局依舊混亂，為了獨斷統治，必須加強打擊異己（尤其是共產黨）。於是在陳立夫、陳果夫的建議下，經蔣介石同意，一個新的機構成立了，這就是國民黨中央組織部黨務調查科。而參與各地清黨運動的，皆由“黨務指導員”負責。
這些黨務指導員十分賣力，在各個地方不遺餘力、大肆宣傳“共產黨陰謀論”，並對共產黨進行有組織、有計劃的破壞。由於其“清黨”動作逐漸轉入到地下，於是之，這些“黨務指導員”也逐漸變成了特務。
蔣介石對“清黨”十分重視，於是也非常在乎這個“黨務調查科”，任命陳立夫擔任黨務調查科科長，繼續“清黨”，排除異己！“二次清黨”一直持續到1929年，經過這次大範圍的清黨，不僅清除了大量共產黨，與此同時也清理了大量國民黨。據當時全國各地慈善救濟機關所作的不完全統計，在1927年4月至1928年7月間，全國各省被國民黨逮捕和殺害的人數總計81055人，其中被殺害者40643人，被逮捕者40412人。“清黨”前期，有國民黨100萬人，“清黨”之後，國民黨隻有65萬人。可見這次“清黨”規模之大，範圍之廣，真是有點“驚天地泣鬼神”的感覺！
後來，晚年的陳立夫回憶“清黨”時，曾這樣說：“吳倚滄、我哥哥和我最關心的是如何找出誰是共產黨，因為，中國共產黨從來沒有將他們黨員名單交給我們過，因此，我們根本沒有辦法分辨誰是共產黨，誰是‘純粹’的國民黨員。我告訴吳倚滄，唯一可做的就是打鬥，因為一打起來，國民黨和共產黨兩邊的人自然就會分出鴻溝來。”（選自《陳立夫回憶錄》）
可見“清黨”多數是通過“打鬥”、血腥暴力來實現的，因此也有無數“冤魂”。後來CC派成員吳開先向陳立夫爆料：“死的人大多數是無辜的！”
陳立夫也搖搖頭，無奈地說：“都是曆史的抉擇，我們隻不過是曆史找來的替身罷了！”