黎元洪說：“行行好吧，你可別給我戴高帽子，這裏誰把我當總統了?讓我看把我當個要飯花子差不多。汪精衛對我說什麼，對我個人表示敬意，可明確提出不同意我在上海組織政府。讓你們說，如果事情是這樣，我南下幹什麼來了?真是自己和自己過不去。”
一旁的唐紹儀，見黎元洪真動了氣，也不好表態，隻是一個勁講“別誤會，別誤會”之類的話。黎元洪見到這位自己曾任命的國務總理，更是氣不打一處來，衝著他摔過去一張報紙。原來，有記者采訪唐紹儀，他對記者說：“餘對黎元洪南下，欲在上海組織新政府之計劃，就個人言之，無何等意見，即國民黨方麵縱有一部分反對者，然黨之全體決非一致不讚成，而亦非有援助之意。餘本人對黎氏，曾勸其放棄此種計劃。”這段話，被記者在報上登出來。黎元洪想到你唐紹儀來電來函請自己南下，看風聲不對，就調轉船頭，成何體統！
唐紹儀看到黎元洪摔給他的報紙，弄得非常窘，倒是章炳麟在旁邊勸解說：“少川這話也是講給汪精衛他們聽的，情況變化，自然就不能大張旗鼓了。”
黎元洪又能說些什麼，隻能想辦法挽救目前的處境。
黎、章、唐這次會麵，很是不痛快。黎元洪性格使然，牽著不走打著倒退，本來從各方麵講，他都不大可能在上海組織政府，但他仍不死心，當聽說有百餘名議員，在湖北會館開談話會，便前往出席，還準備了發言稿。他到了那裏，被人攔住，告之這是國會談話會，別人不能旁聽。
黎元洪說：“本人目前還是大總統，有問題來征求國會的同意，為什麼不能旁聽?現在又是非常時期。”
國會的人還算客氣，不願把事鬧大，給他騰出一間房休息，說是等國會談話完了以後，請議員們多留些時間。黎元洪哪裏能受得了這個，一怒之下，拂袖而去。他並不知道，湖北會館的談話會上，張繼大罵黎元洪，曆數他多年罪狀，大多與會者，也都表示不承認黎元洪的總統資格。一直觀望的皖係督軍盧永祥，終於放出口風說：“黎元洪要是跑到上海當寓公，本督軍將提供各種方便，但不得有任何別的行為，否則，將采取必要措施。”
黎元洪真是後悔南下，他派出去聯係張作霖的韓玉辰和聯係唐繼堯的吳厚齋，也先後回來，可帶回消息並不好，張作霖雖然口口聲聲稱黎元洪為大總統，可堅決不接受黎大總統封的“討逆副總司令”一職，而西南的唐繼堯正在秣馬厲兵，以圖霸占西南，明確不同意黎元洪在上海組織新政府。上海當局，又適時發布了一個公告，曰：倘有破壞秩序，擾亂治安之行為，無論何人，概予法辦。很顯然，這個布告是針對黎元洪發的。
黎元洪呆在寓所內，見各方麵的態度趨於明朗，和自己在天津設想的大相徑庭，深感南下的失策，使自己陷入了進退維穀的境地。他身在上海，見大勢已去，索性又拿出武昌起義時的表現，來個什麼都不管，每日甚至還出去坐車兜風，以泄心中鬱悶。隻有章炳麟還能出入黎元洪的下榻處，別人他一概不見，就這樣等了一段時間，直到曹錕賄選成功，正式成了大總統。
有小報報道曰：黎元洪毅然南下，乃事接洽未妥，徒為二三政客蒙蔽，致預定計劃，不克實行，日來端居杜美路中，門庭既不複如前之熱鬧，而閑居無事。
天津的家人又來信告之，王承斌對他的追殺仍沒有放鬆，讓他在上海處處小心。黎元洪這回算是下了決心，曉得上海非久留之地，三十六計，走為上策，還是遠走他鄉最安全，遂與謀士們商量，決定出國去日本。
黎元洪最後邀請各省代表到杜美路話別，給自己找個台階下，說是近來身體略感不適，準備去日本治病。
在曹錕“登極”一個多月後，黎元洪懷著複雜心情，偕同來滬的夫人、秘書等十餘人，乘高麗丸前往日本。在船上，黎元洪想到當時被直係擁戴出山，也算風光，又想到現在讓直係給攆走，心裏真是無限感慨，那津、滬之行，更是不堪回首。到日本後，黎元洪馬上通電，稱自己將安心養病，不問政治。他本來打算從日本到歐洲，一是想借此得到列強的同情，二是也想給自己擴大些名聲，隻是由於他死要麵子，歐洲之行終於沒能成行，主要他不想失去大總統的尊嚴，堅持不用曹錕政府的護照，就這樣一直在日本住了下來。
時局多變，黎元洪出走，段祺瑞結集皖係兵力加強了反直的活動。北方是齊燮元和盧永祥的對峙，南方是以孫中山為首的國民黨利用滇、桂軍閥，驅逐了陳炯明，重返廣州。
孫中山以廣州為大本營，他經過失敗和成功，正在探索一條新的出路。1923年初，蘇俄特使越飛到達上海，與孫中山進行了多次會談，並發表了《孫文越飛宣言》，表明當前中國是否實行共產主義的問題。宣言稱說：“以中國最急切之問題，乃在民國統一之成功，與完全國家的獨立之獲得。關於此項大事業，越飛君並確告孫博士，中國當得俄國國民最摯熱之同情，且可以俄國援助為依賴也。”
這個宣言，實際上也決定了孫中山聯俄政策的確立，使他走向一條團結工農的路。
孫中山一旦拿定主意，也決心把中國問題徹底解決，馬上派蔣介石為團長，率孫逸仙博士代表團到蘇俄考察黨務和軍事，代表團成員有沈定一、張太雷、王登雲等。
蔣介石在蘇俄最大的目的是想在軍事方麵得到幫助，他在蘇俄整呆了三個月，比較感興趣的還是蘇俄的軍事。這位相貌英俊、身材瘦削、處處注重軍人儀表的人，在蘇俄為中國學生演講時，更多表現出他是一個民族主義者，引起追捧，其領袖至上的苗頭已經生出。這位年輕的軍官，有自己的主見，在給國內的廖仲愷寫信時，保留了自己的看法，認為蘇俄除了金錢和武器，根本就沒有國民黨所需要的東西。廖仲愷已被妻子何香凝設計救出，自陳炯明逃出廣州後，他一直在孫中山身邊主掌財經。他讀到蔣介石的信後，有些不安，複信勸蔣介石不要太極端，有些事還須冷靜為好。
廖仲愷這樣勸蔣介石，也是遵從孫中山的意圖。孫中山力圖改組國民黨，任何不協調的話語，他都加以批駁。孫中山經過反複的思考，終於決定特邀蘇聯代表鮑羅廷為政治顧問，幫助國民黨進行改組工作，並委派廖仲愷、鄧澤如在廣州召開了國民黨改組特別會議。孫中山委派廖仲愷、鄧澤如、譚平山、楊庶堪、林森、孫科、許崇智、謝英伯九人為中國國民黨臨時執行委員會執行委員，林直勉、馮自由、謝良牧、徐蘇中、林去陔五人為候補委員，並說：“承去歲改進之初旨，進而為徹底改組。”
11月12日，正式發表《中國國民黨改組宣言》。
這個宣言，對軍閥們可是一枚重型炮彈。國民黨所謂改組，就是一次國共合作，共同對付軍閥。這個劃時代的舉動，不僅遭到國民黨右派的反對，在共產黨內部，也展開了激烈爭論。對國共合作最為動容的正是中國共產黨創始人之一的陳獨秀。