蔣介石、馮玉祥露宿郊野，仰麵寒星
逃出的是蔡公時的勤務兵，他在４日上午跑到總司令部來報告。總司令部的幾個人就商量著趕快提抗議，宣布日軍此種野蠻罪狀。蔣介石就叫戰地政務委員羅家倫先寫個草稿，大家議論修改後，當天發出。這時，忽然來了一架飛機，在總司令部上空投彈，一個就投在總司令部辦公室後麵的池裏，但沒有爆炸；另一個炸彈落在宿舍後麵的一個四合院的中間，一下死傷１９人，其中有官長２人。這架飛機標誌不明，很可能是日方的飛機，或是由日人駕駛為張宗昌作戰的飛機，因為張宗昌殘部還沒有這種新設備和駕駛員。
日軍在濟南的所有暴行，身為總司令的蔣介石都耳聞目睹，卻隻是陰沉著臉，在房間裏來回走動。似乎他所能做的事，隻是發布撤兵令，不斷派“日本通”去與日本人談判。５月３日派黃郛、陳韜，４日改派熊式輝，５日換成趙世暄，６日再派王正廷、崔世傑，期冀其中能有一個為日本人賞識的外交使者，進而達成某種妥協。
可日本人按自己的方針辦，根本不領蔣介石的情。這些“日本通”皆遭日本人耍笑，先後碰壁而歸。
到了晚上，蔣介石在一個大廳裏和前敵總司令朱培德、總參謀長楊傑、高參熊式輝，重新部署軍事，定下退出濟南，北伐軍兵分五路渡過黃河的計劃。在這個大房間裏，軍用地圖釘滿壁上，又鋪滿地上，由熊高參拿了各種顏色的粉筆和一大塊橡皮，脫了皮鞋在地板上的地圖間行走，擬定各路渡河後進兵的路線。每次畫到一條線之後，在場的人從各角度加以考慮，然後更改或修正，如此弄到深夜。蔣介石要羅家倫擬一個給英美兩國在濟南總領事的函件，通告他們北伐軍要退出濟南，僅留少數維持治安部隊，使濟南成為一座不設防城市，此後一切外僑生命財產之安全，應由日本負完全責任。羅家倫問：“我們就這樣退出濟南城嗎？”
蔣介石望著地上的地圖：“等我把軍事擺開以後，再同他們說話！”
在日本，日參謀總長於４日上午１０時１０分，向第六師團下達了電令：“對中國軍隊的停戰，必須以顯揚國軍威信和根絕禍因為條件。”根據參謀本部的命令，第六師團長福田彥助於當日中午１２時１１分，向參謀總長彙報了第六師團的進軍意圖：
“３日晚，兩軍代表會晤，取得暫時解決，但目前南方中國軍（即北伐部隊）在濟南附近駐紮者至少有四萬人，態度逐漸對我懷有惡意……我們確信，目前正是日本對南方（軍）進行斷然懲處，以進一步解決中國問題之良機。”
已經在日本遊說的張群，接到蔣介石的命令，在日本的決策人物中間進行乞和活動。張群在上一年裏，曾陪訪日的蔣介石去見田中義一首相，已經從田中那時的態度覺察到日本是反對北伐的。但北伐必須經過濟南。有過日本第一次出兵山東之舉，所以蔣介石非常擔心發生衝突。所以在濟南事件發生前，國民革命軍曾通過日本友人要求日軍由濟南移駐青島，此項軍費由蔣方全部負擔。因為張宗昌的部隊已向北撤走，隻要日軍不在那裏駐紮，則無須流一滴血，可日軍拒絕了這個提議。張群被蔣介石派到東京後幾個小時，濟南事件就發生了。５月４日，張群往訪日參謀本部第二部部長鬆井石根中將、外務省次官出淵勝次和軍部伊藤安之助少將等。結果，乞和未成，日軍方依然叫囂以戰爭手段摧毀北伐軍；次日，張群徑訪田中義一首相，要求日本政府不要再擴大事態，希望通過外交途徑，經和平方式解決濟案。
但田中拒不接受，且日本政府已於張群往訪田中的當天，決定增兵山東了。
在濟南，到了４日下午，日軍司令的態度忽然轉變，福田派了一個高級參謀來到蔣介石的司令部，又鞠起了躬：“昨天的事情，是部下衝突，發生了誤會，隻要你蔣總司令不誤會，我們以後一定不再擴大衝突，一定可以設法調解。福田司令官對革命是很好的，而且很願意幫助中國革命軍……”
蔣介石起身讓座：“雙方部下衝突，不算一回事……不使衝突擴大，我當然十分讚成。今天隻看你們日軍士兵是不是再放槍炮、擲炸彈了，我願以此來衡量你們日本軍有否誠意。”
“那當然不能再放槍炮了。”日軍參謀走時做了保證。
可是就在這天夜裏，濟南城外從西關到北關一帶，又響起了日本人的槍炮和炸彈聲。蔣介石氣得擂桌子，開始懷疑日軍是緩兵之計：一旦從日本本土調來增援部隊，想必就會一鼓作氣挑起決戰。於是，蔣介石於當晚下令在城外的大部分軍隊渡過黃河北撤，以避免和日軍發生大規模衝突。可是日軍仍不理會，於５日下午開始了更大規模的進攻，飛機大炮輪番轟擊，使已經和正在渡河的部隊死傷無數。晚上，日軍飛機轟炸濟南城，“能忍”的蔣介石再也忍不住了，外衣也來不及穿，就被侍衛搬上了馬背，與黃郛等一口氣逃到黨家莊車站，同時命令蔣軍從濟南撤退到徐州、兗州、泰安，他的總司令部也遷到黨家莊。