兩人這才達成協議，原則上先撤兵，再設立調查委員會，調查起事原因及雙方損失，調查後研究同價賠償問題。會後由雙方部員，共同起草協議書，交雙方批準後再開正式會議，並協定撤兵日期。
至此，談判似已結束。孰知日方突生變故，節外生枝。雙方屬員起草完協議書後，王、芳再晤於上海，芳澤發言說：“我方接政府訓令，對於前日所議內容中，關於同設立調查委員會一事，我政府萬難承認，務請刪去。”
王正廷手壓在草案上，似怕人搶走一般，大喝一聲：“萬難改動內容！此等信用問題，日本政府應負全責！”他狠狠盯著芳澤，聲色俱厲：“前次會議，曾屢詢君是否有全權及是否尚需請示，君已明言有全權，無須再請訓，今日何能出爾反爾？
且關於同等價格賠償損失，在與矢田會議上已經承認，矢田議定後經田中否認，君來續商，經五六次會議，兩方始同意，而田中又否認之。矢田前此失信，我已非常憤慨，然猶隱忍不言，以示我速謀解決濟案之誠意。今日二度失信，則田中內閣手段過於卑劣，我絕不能承認！如此看來，日政府毫無誠意，君來亦隻以欺詐手段對付我等，借為對內之利用，外間所傳，果不誣也。”
王正廷口氣緩慢而莊嚴，在他閃爍的言辭裏邊，既有自尊，又有威嚇，更多的是憤慨。他說完了，屋裏的緊張空氣令人窒息。
麵對王正廷的嚴辭，芳澤卻並不動容，穩穩地坐著，隻是說：“君以鄰邦外長身份，痛罵鄰邦首相，手段卑劣，近於失敬；請君取消此言，免傷感情。”
王正廷眼睛一橫，字兒咬得清白：“事實如此，我不能不憤慨言之，我決不取消此言！”
芳澤直拍前額，無可奈何，雙方你來我往，各持己見，無法再談下去。此時會場外，中外記者都在等候最後消息，急得要敲門。周龍光問王正廷，如何對記者發表會議結果？王正廷說：“你去宣告，會議破裂！”
芳澤一聽“破裂”二字，渾身一震，極為不安；本來已經起身，這時重新坐下，嘴裏叨叨咕咕，嗓子好像缺油的滑車一樣，吱吱直響，最後變成一陣可怕的咳嗽：“不，不能用……破裂。”
最後商量結果，以“談判停頓”四字宣告於外，芳澤這才安心告辭。
據事後了解，確係日本外務省又有異議，電令刪改。因田中雖兼外務首相，而由政務次官森恪操實權。森恪出身於三井財閥，係三井財團一流人物。田中侵華政策，有其在後撐腰。加之其對於外交又非內行，又有點眾議員野性，對於其在外代表的立場，不假思索，故出此輕率之舉。芳澤自知理虧，甘受王正廷之嚴厲斥責而不加多辯。此後數日，中方鄙之不屑為對手，芳澤就在上海寓所借酒澆愁。一天周龍光去訪他，芳澤一籌莫展，最後舉杯向周龍光說：“哎！周先生，我真想跳黃浦江去！”說完連連搖頭。
交涉再三發生變化。以後改為周龍光與日本駐滬總領事重光葵秘密會談。到由外交部長王正廷和日本公使芳澤謙吉終於簽訂協定，則是翌年３月２８日的事了。協定沒有追究任何一方的軍事責任，而隻決定了：一、自簽訂日起兩個月內，日軍在山東的駐軍全部撤退。二、雙方損害，共同組織調查委員會另行調查等項。
中國外交官蔡公時之被殘殺，不再追究，賠償損失問題實際也予以擱置。這是由於中國方麵片麵讓步而告終結。然而，“濟南慘案”在中國民眾中，無疑是一把烈火，抗日情緒燃遍了全國每一角落。在日本，則敞開了軍閥專橫幹政的大門。同時，這更是在日本昭和時期將中日關係攪拌上火藥、塗滿了鮮血的最初一個記號。