蔣介石等國民黨反動頭子的倒行逆施，也引起了國民黨軍隊部分人士的不滿。蔣介石雖然將傾向革命、支持工人運動的軍隊調離上海，利用周鳳歧這支未經過改造的舊軍閥部隊，充當屠殺工人的劊子手，但仍然遭到一些有正義感的官兵的抵製。國民黨二十六軍黨代表兼政治部主任趙舒就是其中的一個。趙舒執行孫中山的三大政策，與共產黨有較好的合作關係，他對二十六軍的所作所為感到十分憤慨，並宣布辭職。4月14日，趙舒在離開上海之前，寫信給周鳳歧和斯烈，希望他們在可能方麵要幫助工人。趙舒還勸告斯烈，要他釋放被捕工人。4月15日，趙舒帶著悲憤心情離開上海，投奔武漢政府。4月25日，斯烈又秘密通知周恩來，請他不要在華界活動，敵人已特別注意廣東街，懸賞2.5萬元緝拿他。
國民黨新右派的血腥大屠殺也震驚了上海廣大知名人士和知識分子。4月12日當天，鄭振鐸、馮次行、章錫琛、胡愈之、周予同、吳覺農、李石岑等人，正在寶山路臨街一幢房間裏，親眼目睹了殘殺工人的場麵，實在忍無可忍，便以閘北居民的名義聯名向國民黨監察委員蔡元培、李石曾、吳稚暉等發出抗議書，表達對蔣介石國民黨新右派的極大憤恨，對上海工人階級的極大同情。
工人階級的反抗和鬥爭，得到上海各階層人民的極大的支持和同情。但是，此時的革命形勢與上海三次武裝起義時已大不相同，工人階級已處於十分被動和不利的地位。此時的北伐軍，已完全轉變為反革命軍隊，與北洋軍閥在上海的反動統治相比，無論在政治上、軍事上都強大得多。因而，已經被繳了械的上海工人階級要戰勝這支強大的軍事力量是不可能的。“四·一二”反革命政變後，以上海工人階級為主體的革命統一戰線已經破裂，工人階級已經處於孤立的地位。反革命政變前夕，國民革命軍中同情上海工人的軍隊都被蔣介石調離上海。在危急關頭，上海大資產階級紛紛倒向蔣介石，支持鎮壓工人運動；大批的民族資產階級，因害怕無限期的政治動蕩，也站到了蔣介石的一邊。
在這種形勢下，國民黨反動派聯合一切反革命勢力，查封—切工會組織，瘋狂鎮壓工人罷工運動，逮捕屠殺工人領袖。4月14日，上海警察廳發布命令：上海總工會舉動不軌，曾奉令繳械，一麵查辦本案；茲恐境內仍有假工會名義，集眾開會等情，特令偵緝長周瑞傳集各偵探麵諭，分頭調查有無工人集會不軌舉動，著即查禁。此時，蔣介石禦用的上海工會組織統一委員會也發出緊急啟事，威嚇工人說：如再有敵人間諜、流氓、匪類或違反三民主義破壞國民黨之分子，愚弄工友，妨害國民黨之國民運動，及擾亂地方治安各情，即以反革命論罪，決不寬待。隨後，反動軍警和上海工會組織統一委員會的流氓打手，開始對上海工人實行聯合鎮壓。於是各工會組織被查抄封閉，工人集會與罷工均以“反革命”論處，大批共產黨與工人領袖被逮捕殺害。南市區，警察廳偵探帶領二十六軍士兵到各工廠、各商店工會進行搜查封閉。甚至連茶館工會也不放過。閘北區，從14日下午1時起宣布戒嚴，由反動軍隊與流氓到各廠各店進行搜查，行人一律不準通過，稍有反抗，即被槍殺。浦東區，數百名流氓在反動軍警保護之下，到各工廠搗毀工會，毆打工會職員，逮捕工人領袖，反動軍隊則借口“工人滋事”，開槍鎮壓。滬東、滬西等地區的工會也都被查封，各工廠的罷工工人被強令複工，稍有反抗，或被逮捕，或被槍殺。
麵對敵人的血腥鎮壓，在工人階級孤立無援的情形下，為了減少無謂的犧牲，中共上海區委於4月14日下午召集會議，決定結束罷工，宣布4月15日正午12時全市工人一律複工，黨組織和工會組織轉入地下，進行秘密鬥爭。4月15日，上海總工會又發出致武漢國民黨執行委員會及國民政府呈文，揭露蔣介石反動派發動反革命政變、屠殺革命工人、解散革命機關與團體的十大罪狀：（1）勾結帝國主義壓迫罷工，出賣上海工人階級。（2）勾結帝國主義雇傭流氓、騙繳工人糾察隊武裝，慘殺響應革命軍有功的工人。（3）屠殺徒手請願的群眾數百人。（4）暗殺上海總工會委員長汪壽華。（5）收買流氓搗毀各工會並占據上海總工會。（6）封鎖輿論郵電，禁止民意表現。（7）軍事機關擅自封閉孫中山先生所號召國民政府所批準之上海市民政府。（8）軍事機關擅自改組上海特別市黨部。（9）盡量容納一切反革命分子，如屠殺上海工人的李寶彥，武漢被驅逐的反動派、孫傳芳過去所用的走狗、偵探等，予以重任。（10）勾結帝國主義利用流氓四處搜捕一切革命分子。
4月14日後，中國共產黨、國民黨上海特別市黨部、上海總工會等一切革命機關都陸續轉入地下，秘密開展活動。4月15日，中共上海區委給各部委、各黨團發出關於市政府、市黨部被封後之工作問題的指示信，指出在市政府和市黨部被封之後，各部委和各黨團，應把上海人民的鬥爭發展“成為全上海人民反蔣的鬥爭”。次日，在上海區委的主席團會議上，周恩來就蔣介石集團叛變之後的軍事問題作了全麵的分析，指出蔣介石叛變之後，在南京、上海等地的統治並不穩固，能受蔣介石指揮，死心塌地為他打仗的僅3萬人，其他部隊如薛嶽的第一師，嚴重的二十一師都不願跟蔣介石反人民。如果武漢抓住這一時機，發5萬精兵，估計一個月時間即可削平蔣介石。