安慶事件結束後，蔣介石和陳立夫並沒有休息，翌日啟程，趕往上海。路上，蔣介石忐忑不安，他告誡陳立夫：革命之路是有去無回的，不管生死都要走到底！陳立夫點點頭，表示會忠誠黨的事業，堅持走革命道路，堅決不回頭。此時的陳立夫，已經被蔣介石完全“洗腦”，無論做什麼事，首先想到的就是蔣介石。
3月26日，蔣介石和陳立夫到了上海後，立刻與吳稚暉、李石曾、白崇禧、潘宜之等人聯絡，讓他們前來開會討論“分裂共產黨”之辦法。席間，吳稚暉表示：以中央監察會名義彈劾共產黨動搖後方等議案，從而組織監察委員會成員開除及監視一切附逆跨黨之首要，聽候代表大會裁判！公開清除共產黨否定武漢權威，因為還牽扯到蘇聯顧問（財神）的關係，蔣介石有些猶豫。蔣介石前後左右猶豫了幾天。
在這期間，蔣介石解散了上海工人糾察隊和紅色公會組織，公開反共，所以反對蔣介石的各黨派也正在尋求對策，預防蔣介石反革命力量的“流感細菌”。為了搶在蔣介石的前麵，共產黨於1927年的2月22日率先打了“防疫針”，準備在上海掀起武裝起義，建立臨時的上海革命委員會。蔣介石攜陳立夫來到上海後，也與剛剛成功領導第三次工人武裝起義的周恩來見了麵。
周恩來說：“現在革命形勢不錯，而且上海的工人運動逐漸進入高潮，非常希望你們能夠保護工人們的利益。”
陳立夫回答：“工人運動本就是反政府的運動，憑什麼還要為你們這次非法運動提供保護？”
周恩來憤怒地質問陳立夫：“工人決定生產力，決定未來的國家命脈，不保護他們，保護誰？”
而陳立夫也非等閑之輩，其口才也是一流的。他不僅找到諸多辯解的理由，而且認為“工人運動”並非單純的運動，而是具有政治企圖的。很明顯，陳立夫的反駁是為蔣介石的“清黨”做準備。於是兩人大戰三百回合，沒有分出輸贏，最後不歡而散。後來甚至連周恩來都不得不承認，陳立夫是一個令人敬畏的敵人。共產黨摸清了蔣介石的意圖後，放棄了這根腐朽到抓不住的稻草，而是親自提醒參加工人運動的革命同誌：“既然國民軍認為我們是非法組織，那麼我們的運動也會受到一定的限製……所以我們要派一部分同誌提前打入，抓一部分武器，公開利用身份訓練！而且我們還能最大程度地保存革命力量！希望同誌們能夠積極響應黨的號召，完成這個足可以改變曆史的任務。”此時，工人革命越來越活躍，而陳立夫則建議蔣介石盡快下手，斬草除根！
4月2日，陳立夫跟隨蔣介石來到北伐軍東路軍前線指揮部商量對策，參加這次會議的有：蔣介石、何應欽、李宗仁、白崇禧、黃紹竑、吳稚暉以及陳果夫和陳立夫兄弟。這次會議的主要內容就是寫呈文“反黨”。“壞點子”是國民黨元老吳稚暉出的，他說：“輿論上，我們必須要製造出聲音……而且要官方製造的聲音！”
蔣介石一聽：“具體說說看！”
吳稚暉說：“我們要以中央監察委和執行委的名義公布，讓全國人民知道共產黨的野心！”
此時蔣介石在武漢的地位十分尷尬，中央監察委和執行委是不可能同意的……所以他搖了搖頭：“主意不錯，但是武漢那邊……恐怕不容易說服啊！”
一聽蔣介石犯了愁，聰明的陳立夫站了出來：“校長，不用擔心！呈文的事情交給我，我可以搞定！”
“你具體說說看。”蔣介石將信將疑。
陳立夫說：“校長，我覺得現在是非常時期，所有手續都不可能嚴格把關！至於呈文公章的事情，我們完全可以按照原章自行雕刻兩枚……隻要呈文一發，槍聲一響，武漢那邊也就控製不了了！”
起初因為兩枚公章還犯愁的蔣介石，聽陳立夫這麼一說，也露了笑容：“好吧，這件事你安排就是了，但是千萬別出什麼閃失，做好保密工作。”
後來陳立夫找來吳倚滄，讓其找一家刻章技術一流的店鋪刻上兩枚。於是吳倚滄去了一家上海老字號刻章店刻了兩枚章。事後蔣介石誇獎陳立夫腦子靈活，以後必成大事。而陳立夫則十分虛心，從來不搶主子的風頭。此時陳立夫的奴才麵孔也暴露無遺，隻要是蔣介石需要做的，陳立夫都會第一時間蹦出來出主意。