南京克複後，武漢政府接受了吳玉章、林祖涵的提議，決定組織“江蘇省政務委員會”，委程潛、何應欽、魯滌平、鈕永建、柳亞子、李富春、侯紹裘、張曙時、李隆建、江董琴、顧順章等十一人為委員，以程潛為主席。
這十一個委員中，李富春以下均為共產黨員，柳亞子、程潛傾向中共。
到了上海的蔣介石感到事情不妙，以軍事理由召集程潛赴滬，實是商量清黨之事，並以軍事戰略的需要，以總司令的名義，調第二軍、第六軍部隊全部過江。程潛是傾向武漢政府的，他懷裏甚至揣著國民政府為防止蔣介石另立中央可“一俟機會可逮捕蔣介石”的秘令。程潛表麵答應要完成這個任務，心裏卻也滿是躊躇，不想首當其衝。最終他失去了南京。
不過，對程潛來說，他並不是共產黨，隻是有些傾向罷了，而且他統轄的第二軍、第六軍多是湖南人，他們的家屬某種程度上受到當地農會的威脅，因而對武漢的左傾是有看法的。再說唐生智管轄著武漢地區，程潛本身也與唐不睦，對蔣介石也沒有過多的仇恨，不願替他人火中取炭，因而也不願與仍有重兵的蔣介石來硬的。
可謂深謀遠慮的蔣介石正是看到這一點，稍一動手腳，程潛便放鬆了南京的控製。
坐鎮上海的蔣介石，表麵上滿麵春風，但看到上海全部落入共產黨人手中，深懷憂慮。
李宗仁也從南京來到上海。
時下，白崇禧兼任淞滬衛戍總司令，李宗仁見白崇禧後，第一句話就說：“上海的氣氛有些不對，我來的路上，見到很多武裝，頗有些全民皆兵的味道。”
白崇禧說：“德鄰，你也看出來了，總司令正為此事著急，我也感到有些不妙，到處都是工人的集會、遊行，老百姓不像是歡迎北伐軍，我看他們對共產黨倒滿有興趣。老實說，第一軍也不穩。”
李宗仁說：“有取而代之的意圖嗎?”
兩人不知如何是好，講了半天，沒得要領，最後直接去見蔣介石。
入駐上海的第一軍，也讓蔣介石不放心。其中第一師師長薛嶽、二十一師師長嚴重，都有些左傾，惟有劉峙對蔣介石尚忠誠。此時，何應欽真真假假也要求辭職，說是他的部隊完全被共產黨赤化，已經無法領兵。
蔣介石見到李、白二人，遂表示上海情況若不管，便成為第二個武漢，到時情況將更不好收拾，他說：“別的都好辦，可是上海若不把握住，北伐將可能受挫。上海是中國經濟的樞紐，如果上海和武漢一樣落到共產黨手中，國民革命恐要斷送。”
白崇禧時下也窩了一肚子火，他的部隊經常同上海的工人糾察隊發生衝突，雖然蔣介石明令地方武裝要服從白崇禧的指揮，可糾察隊以“糾察隊不同於軍隊性質，完全是工人自己的武裝”為由，拒不執行。蔣介石一怒之下，命白崇禧的部隊在閘北逮捕了幾名共產黨。上海的組織即報武漢政府，政府要人吳玉章向國民黨委員會提出彈劾案，稱蔣介石此舉是破壞國共合作，其行動是反革命的。
武漢國民黨中央於4月1日作出決議，認為“在本黨未組織憲兵維持秩序時，承認糾察隊為維持革命秩序之武力，如果政府長官有任意解散者，即為反革命”。
武漢政府作出上述決議，其目的也是對蔣介石的野心加以束縛。
由此更加刺激了蔣介石，鑒於國民黨目前的狀況，反共決心已下，並借此擴大自己的政治勢力。一些黃埔軍官對蔣介石反共不覺意外，但還是想打聽出個究竟。總司令反對共產黨，總得有個理由吧。
蔣介石在莫裏哀路總理遺宅內，對自己和部下、同事解釋、剖白，以達到上下一心反共的目的。上海的共產黨人陳獨秀，有些書呆子氣，對周恩來、汪壽華、趙世炎的勸阻，表示懷疑，他是不相信蔣介石敢公開叛變革命的，至少現在不大可能。
陳獨秀仍希望團結和忍讓，而他唯一要做的事就是想辦法請蔣介石把問題放到桌麵上來談。
此時的蔣介石已經說服李宗仁、白崇禧，他說：“對共產黨是不能留任何情麵的，你給他一尺，他就會向你要一丈，隻有快刀斬亂麻，才能保住上海。”
李宗仁說：“這就要總司令下決心了。”
蔣介石說：“我的決心早就下了，隻是第一軍已經靠不住。如果這件事情辦不好的話，第一軍出現意外，時局就不是你我兄弟能扳回的了。”
李宗仁說：“這樣吧，我看還是把第七軍調到上海，監視第一師的不穩定分子，使其不敢輕舉妄動，另兩個師調到滬寧線上。”
蔣介石說：“這還不夠，劉峙是沒有問題的，再把周鳳歧的第二十六軍調來，讓他們幹。這些部隊沒有腦子，共產黨還沒來得及鑽進去。”
白崇禧說：“二十六軍是孫傳芳倒戈的部隊，他們名聲不太好，若把這件事惹大了，會怎樣呢?”
蔣介石說：“越大越好。這是另一種鬥爭，如果順利的話，不會用太長時間的。”
蔣介石部署完畢，各將領得令返回駐地。
共產黨方麵得知蔣介石要將第一師薛嶽部調離吳淞口，接防的是第二師劉峙部，便向白崇禧表示要挽留第一師。白崇禧說他是警備司令，沒有調兵的權力，而部署兵力該是總司令，他隻能執行。再說都是國民革命軍，不該分彼此的。他隻能傳達，無權過問總司令的作戰意圖。
蔣介石這個動作，並未能引起陳獨秀的注意。
蔣介石反共苗頭初露端倪時，陳獨秀得到另一個國民黨領袖的保證，此人就是悄悄回國的汪精衛。原來隨著革命進一步的發展，蔣介石在軍內有獨裁傾向，引起國民黨左派勢力的不滿，因而全國響起一片“迎汪複職”呼聲。陳獨秀對蔣介石是了解的，他自認對汪精衛也是了解的，因而把“寶”就押在這位海外歸來的汪主席身上。
蔣介石下決心和武漢政府攤牌時，采取以攻為守策略，讓心腹李石曾勸汪精衛回國，並發出電報說：“請汪同誌盡快銷假，趕緊回來，共維大局。現在國內有許多人故意放出一種空氣，使得他不能出來銷假。”
汪精衛畢竟了解蔣某其人，自出國後，表麵不問他事，是由於一直鬱鬱不得誌，此時，蔣介石請他出山，對他來說是東山再起的最好時機，因而他一定要抓住。對於回國是去武漢還是上海，汪精衛自有打算。汪精衛決意歸國後，經德國、波蘭至莫斯科，會見了斯大林，然後乘火車到海參崴，再乘蘇聯郵輪回國。
汪精衛一到上海，從武漢來滬總理江浙財政和稅收的宋子文，前往迎接，並勸汪精衛在上海住幾天。
蔣介石馬上拜會汪精衛，對他說：“兆銘兄，弟有一話想對你講，不知對否。”
汪精衛剛從國外歸來，所知國內之事多是報上報道，政府內爭之事，全然不曉，見蔣介石這般一說，急忙說：“望中正弟有言傾矣，兄一直身居海外，身體也多有不適，對國內的事，我太想了解了。我到上海後，馬上給武漢政府複電，要求工作，弟有何見教，快快講來。”
蔣介石心裏一怔，不經意說：“你切不要急於到武漢去，那裏情況甚是糟糕，全是共產黨勢力，顯然有把我黨吞並之勢。”
汪精衛說：“能有那麼嚴重，據我所知，兩黨一直合作，就是咱們這座上海城，不也是周恩來那些共產黨協助攻下的嗎?”
蔣介石說：“那是兩回事。還是等共產黨勢力被扼製，我有些話才能講出來。”
汪精衛不得要領，現在剛剛落下腳，聽到蔣介石的意圖，心裏吃驚不小，便留個心眼，暫時沒有表態。
不過，蔣介石為了表示他對汪精衛的誠意，通電國民黨各級將領，電文曰：
汪主席病假逾年，不特全國民眾渴望仰慕，黨國政要亦蒙受重大影響。中正曾迭電促駕，今幸翩然出山，恍若大旱之獲甘霖，莫名欣慰。
汪主席為本黨最忠實同誌，亦中正平日最敬愛之師友。關於黨國大計，業與懇談。中正深信汪主席複職後，必能貫徹意旨，鞏固黨基，集中黨權，完成革命，以竟總理遺誌。