臨出發前，黃郛向日本田中外相發了一份抗議照會：
田中外務大臣勳鑒：
貴國出兵山東，不僅侵我領土主權，業經本國民政府二次抗議在案，並聲明如不幸引起誤會，貴國當負其責等語。不意５月３日上午，在濟日兵，無理起釁，對我駐軍及民眾，肆意射擊。當由國民革命軍總司令，嚴令我軍離開貴軍所駐區域附近，並命高級軍官，自往日軍司令部，妥商防製衝突辦法，乃亦遭侮辱，得無效果。日軍並以機關槍掃射，又屢屢開炮轟擊民房，派隊侵入交涉公署。對山東特派交涉員蔡公時割去耳鼻，與在署職員十餘人，一同槍殺。
本部長臨時辦公處，亦遭有組織的射擊及搜索。中國兵士人民死者，不計其數。
並侵入我軍駐地，勒令繳械。我軍容忍，不與抵抗。３日晚１１時，當我軍高級軍官與貴國黑田參謀長，商議善後辦法之時，日軍竟放大炮五次，並派兵毀我無線電台。４日，日軍所占區附近，已無一華兵，尤複不斷射擊。迄今交通阻隔，全城輟業，不特蹂躪中國主權，並為人道所不容。今特再向貴國政府提出嚴重抗議，請立即電令在濟日軍先行停止槍炮轟擊之暴行，並立即撤退蹂躪公法破壞條約之駐兵。先決問題，概由正當手續解決。國民政府並聲明保留所有應當提出要求。想貴國政府必不願對中國全民族有不堪忍受之敵對行為，且與世界人道正義為敵對也。特此嚴重抗議。謹希急複。須至照會者。國民政府外交部長黃郛發於濟南。
蔣介石也致函福田：“自本月３日之不幸事件發生，本總司令以和平為重，嚴令所屬撤離貴軍所占區域。現在各軍已一律離濟，繼續北伐，僅於城內留少數部隊，藉維秩序。本總司令亦於本日出發，特通知貴師團長查照，並盼嚴令貴軍立即停止兩日以來之一切特殊行動，俾得維持兩國固有之睦誼，不勝企盼之至。”
日本的複電沒有到來，炮彈卻傾瀉而來……
第二集團軍總司令馮玉祥，聽說蔣介石已占領濟南，便帶領隨從，從鄭州登車赴濟。到了兗州車站，隻見鐵路兩旁走著許多北伐軍隊，推車挑擔，低頭喪氣地紛紛向南走去，不禁懷疑和緊張起來。馮部隨從你言我語，互相猜測說：“濟南不是打下了麼？兵士們為什麼不接著北上，反而南退呢？”
馮玉祥也很納悶，一到泰安站，他就命令停車，叫隨從人員去查詢究竟。有許多操廣東方言的士兵回答說：“日本鬼子在濟南反了，把外交處長蔡公時也殺死了，我們奉命南退啦。”
同車的人一聽，都怔住了。馮玉祥更像是聞到一聲悶雷，頓足罵起日本人。他命專車急速向北開進。一到萬德車站，即接到蔣介石的急電：“請馮總司令莫進濟南，我已在黨家莊車站等候，希在黨家莊車站下車。”於是列車就向黨家莊進發。
到達黨家莊車站時，蔣介石早已在那裏等候。
隨即在蔣介石的專車上，召開了一個緊急會議，即“黨家莊會議”。參加這次會議的，除蔣、馮外，還有黃郛。馮玉祥方麵的隨員隻有隴海鐵路局管運輸的崔士傑和督辦王正廷，都是幫助第二集團軍辦事的。
開會的時候，蔣介石已不像前些日子那樣威武——馮玉祥打電報問他對日外交有何準備時，蔣複電說“我國外交已有辦法，可勿多慮”，儼然是空城計中諸葛亮在城樓上對老軍說的“天下事用不著爾等操心”的口吻。此時蔣介石精神恍惚，意誌消沉，時而搔首，時而沉思。而黃郛則大談其太極拳的修煉功夫，好像他得到了以柔克剛、借力打人的方法。馮玉祥的隨員一聽這個，就把臉扭向一邊，恥笑他這是以太極拳來掩飾其對日外交的失敗。
會議開始了，蔣介石先談了一下目前國內外形勢，接著談他的策略。他還想用以夷製夷的政策，對於自己為何不抵抗，並未說出個所以然來。對於日寇在濟南慘無人道的暴行，隻輕描淡寫了幾句。
會議氣氛相當沉悶，大家都低著頭，沉默不語。馮玉祥不耐煩了，揚起臉問蔣介石：“總司令對濟南的日寇想如何對付？部隊為什麼南撤呢？”
一聲責問，使空氣頓時緊張起來。蔣介石沉思片刻，斷斷續續地說：“部隊南撤是有計劃的，日軍如果再向南進攻，我準備在泰安以南同他打。”
他一說完，車廂裏又同枯井一般，靜得可怕。
王正廷突然冒出一句：“日寇南進，我們便打，如日寇不南進而占據北方，我們怎麼辦呢？”
蔣介石瞠目結舌。因為他的本意是避免與日軍衝突，繞道北伐，而放棄膠濟。
他本來對馮玉祥誇耀過對日外交有辦法，現在就隻好頻看黃郛，黃郛則低頭不語，對著鞋尖呆望。