日軍排長不理，先將黃郛衛隊繳械，隨之又率士兵武裝闖入黃郛臨時辦公室，搶掠外交文件和私人財物。日軍排長去了一會兒便回來了，神色有些詭異，換了一副嘴臉，打了個立正，說福田司令官要請黃部長去談話。黃郛便跟著去了。進了日軍司令部，黃郛催問了幾回，既不見福田司令官出麵，也不見有什麼副官、參謀之類的接待，還是那個排長，又添了幾個士兵，圍住黃郛，拿了一張紙和一管筆，要黃郛在上麵簽字。黃郛接過來一看，頭皮發緊。文件上赫然寫著：“今天中國革命軍與日本軍隊衝突，是中國革命軍來搶日本的東西，來打日本人，所以衝突起來的。”
黃郛把紙和筆推開去：“我不能簽。”
日本兵在一邊喘著粗氣，嘴裏罵罵咧咧。黃郛克製住心中的厭惡轉過身來，抓起桌上的電話機，給蔣介石打電話，請派車到日軍司令部來接他。但日軍沒有得到他的簽字，僵持了一個多小時也不肯放他。有一個日軍班長掏出手槍，“啪”地擺在桌上，滿臉殺氣地威脅道：“除非你不要命，要命就要簽字！”
黃郛已經無心反唇相譏了，他的喃喃聲在小屋裏嗡嗡回響著：“我是中國的外交部長，你不得這樣無理。”
日軍班長跺起腳，布滿血絲的眼睛裏充滿仇恨的凶光：“曉得你是什麼東西！外交部長？我會管這麼多？”
當時，正好有一個曾為國民革命軍在濟南地區收集情報的日本人在場，他和黃郛認識，也對這樣的情景看不過去，就小聲責備那個班長不要太不禮貌，那個班長馬上對著他狂吠：“你小子不是日本人？如果你是日本人，為什麼倒幫助中國人？你知道今天是什麼日子？今天是我們日本人與中國人開戰的日子，少說廢話！”
黃郛氣得嘴巴咧到一邊：“即令你殺了我，我也不能簽字的。”
日本兵無奈，凶狠地叫喊了幾聲，坐在桌邊的另一張椅子上，雙方繼續僵持著。
在此之前，黃郛在外交部交涉署為調查實情、調停衝突，曾經派遣中國人和日本人各一人為一組的調查員，到街上去調查情況，希望能得到客觀的判斷。這兩個人也剛好到了日軍司令部。其中之一的日本調查員，一進門就如獲至寶地叫嚷：“剛才看見一個日本兵被中國兵殺死，你們中國人也看見的。”說著就把中國調查員拉過來，叫他當場寫一個報告。中國調查員是個唯唯諾諾的人，既無心計也無骨氣，支吾了半天就寫起了報告。日本兵接過報告，就強迫黃郛在上麵簽字，並說：“你不能不簽字，你自己派遣的中國調查員也看見的。”
黃郛拿著報告半天不說話，看看窗外，天色已近黎明，哀歎一聲，在報告上慢慢批了一個“閱”字。日本兵拿過報告，緊繃的臉頓時鬆弛下來，示意黃郛可以走了。黃郛走出日軍司令部，看看表，已經是4日淩晨5時。自事件發生以來，他被扣留在這裏已經18個小時之久。
黃郛竟遭此侮辱，自己都覺於情於理難容，於是在這次事件之後，便辭卸了外交部長職務，由王正廷繼任。蔣對此事的解釋是：“膺白（黃郛號）外交辦失敗了，一幫老先生均不滿意。”黃當即遵囑辭職，攜妻女一同到莫幹山隱居。在莫幹山期間，黃郛曾向好友張群略吐衷曲。他在給張群的信中說：“濟案所受刺激，公私兩項皆為生平未有之傷心事……實令我沒齒不能忘。”
其實受盡淩辱而又始終不肯屈服的不是黃郛，而是外交特派員蔡公時。
蔡公時同黃郛一樣，都是日本留學，兩個人都能說一口流利的日語，和日本人常有往來。所以蔣介石第二次北伐出師以前任命黃為外交部長，蔡為戰地政委會外交部主任、山東特派交涉員。