然而，蔣介石做出的種種忍讓，又被福田彥助以何成浚沒帶委任狀為借口，不承認其為代表，拒與交涉。
蔣介石焦急地等待何成浚回來，何成浚回來了，一坐半天不說話，連坐姿也不改變。等他有了說話的力氣，他的話使得屋子裏的人全都大吃一驚。蔣介石沒說什麼，等到夜深人靜，他開始在日記中發泄：
“據報何成浚晤見福田，福田態度仍甚強橫，不可理喻，有必欲解散我第二、第三、第四各軍及對我三總指揮必欲處以嚴刑之要求雲。是可忍，孰不可忍？攻破我之濟南，在彼以為得意，不知中日兩國之怨仇因此深結於人民心中而不可拔，東亞和平之基礎亦從此動搖。是日本軍閥之禍國殃民，乃更甚於中國之軍閥矣！毒蛇猛獸不除，必至反噬其主人，惜乎日本民眾猶未能醒悟耳！大為中日兩國民眾之前途長太息也！”
８日那一天，在東京的張群，奉命再次與田中義一會談，要求和平解決“濟案”，並向田中轉達了蔣介石給張群的如下電文：
如果日本出兵，隻意在護僑，不影響國民革命軍北伐，則我們將盡力完成北伐，達成統一中國之使命，至於濟案，如果經查明，其曲在我，我們亦願意向日本道歉。
總之，一切我們均將以光明磊落的態度來了結這次不幸事件。
可是，蔣介石的一切乞和活動，均告失敗。此間，國民政府已於５月１０日致電國際聯盟，要求調查事件真相，濟南事件受到國際注目。美國於１５日在下院提出由國務卿出麵調停的議案。日本政府鑒於國際輿論，也於１４日決定方針——不擴大戰爭，並循外交交涉收拾事態。遂即派遣參謀本部作戰部長鬆井石根中將來到濟南，與張群及王正廷進行交涉。但日本政府和參謀本部執意要蔣介石本人“謝罪”，中國方麵要求賠償損失，意見對立，無法進展。
民族情感像個火藥桶
６月初，黃郛因對日外交辦理不當，引咎辭職，蔣介石旋正式任命王正廷為外交部長。王就職不久，即與日方就“濟南慘案”開始非正式的談判。談判地點就在上海法租界古拔路王的家中。
當時，日方代表是駐滬總領事矢田，中國代表是外交部亞洲司司長周龍光。矢田聲稱，中國軍隊在濟南殺害日本僑民，搶劫日商財產，損失浩大，日本不得已出兵，解決濟案，中國必須道歉，懲辦肇事禍首等等。中方答以濟案發生其根源在日本出兵，是非曲直，自有定論。是非責任及雙方損失真情，都應以調查為準，但最重要者，為日本應從速撤兵。但一談及此點，矢田總是避而不答，雙方意見相持不下，談判遂告中斷。矢田雖然受命於日本政府，但其為人卻有樸直一麵，每逢中方激烈抨擊，他並不狡賴，似有一種理屈之感。當交涉破裂之後，日本各新聞記者追問他破裂原因，談到撤兵一節，他的言語中隱約帶出“根本就不應出兵”之意。這話傳到田中耳朵裏，他馬上把矢田撤調回國。矢田在仕途中再無升遷。
但據當時情況看，日方並非不急於解決，隻是不肯輕易吐口，外表上裝出一副無關緊要的樣子，所以談判時斷時續。後來日本外務省又派職員上村到南京，以帝大同學關係，私人探訪周龍光，裝著無意中談及濟南問題，來探口氣。上村自己表示，如必要時，他願做“魯仲連”（東周列國人物，齊人，不屑仕宦，專好遠遊，為人排難解紛）。因而濟案談判遂又被拾起。雙方爭執焦點仍在日方撤兵問題上。
國民黨方麵要求日方先撤兵再談其他。日方則企圖先談妥其他再談撤兵，以便有兵好挾製中國。因此雙方在南京舉行了三次會談，皆無結果。就這樣拖了好幾個月。
在國民黨方麵，因為這時已攻下北京，奉軍也退至關外，蔣介石的勢力已擴展到華北，濟南問題已經不是他最關心的事了，所以國民黨政府並不十分急於解決。但這種拖延戰術卻使日本方麵沉不住氣了。因為日本政府勞師動眾，駐軍國外，盡管統治者混淆是非，蒙騙大眾，但多數人畢竟不願卷入戰爭，連日本的財閥集團亦因長期未能獲得更多的現實利益，而嘖有怨言。於是在１９２８年年底，幾經波折，日本駐華公使芳澤謙吉又同王正廷進行非正式談判。