石友三撤回河南後，第二集團軍孫良誠部又打下巨野，進占嘉祥，切斷濟寧後路。孫良誠所指揮部隊，在巨野一仗，激戰了四天四夜，犧牲較大。孫傳芳利用北伐軍連續作戰，疲憊不堪之機，以重兵衝開孫良誠圍攻部隊一個口子，倉促北竄。孫傳芳大部隊從魚台北退，反攻孫良誠時，其阻滯在金鄉、羊集的敵人還負隅頑抗。
適時，津浦線的張宗昌部隊，更是強弩之未，在第一、第二兩個集團軍進攻下，紛紛潰退。北伐軍不給敵人喘息之機，乘勝追擊，攻占了兗州。陳調元部最後的目標便直指膠濟線。
濟寧克下，蔣介石聞之大喜，遂派熊式輝前去組織召開了第一集團軍、第二集團軍的軍事會議，具體問題就是會攻山東省城濟南。
方振武本是張宗昌的舊部，所轄部隊多是直魯聯軍的老底子，對山東比較熟，而蔣介石對第四方麵軍期望也較高。軍事會議上決定，部隊北上，第三方麵軍向泰安，第四方麵軍從汶上、寧陽向北，一路上，隻遇小股阻敵，未成戰事。北伐軍進兵迅速，很快來到濟南附近。
方振武多年以來，四處漂泊，多是寄人籬下，此次會攻濟南，本想撈個山東省主席，圖一塊地盤，成為自己的立足之地。濟南城下，賀耀組四十軍、鮑剛的第四十一軍、繆培南的第四軍首先入城，其他部隊得蔣介石令，隻留守城邊，後來阮玄武的三十四軍也得令入城。
蔣介石等也隨後來到濟南，召開了軍長以上軍事會議。各部軍長先已到達，等蔣介石步入原張宗昌辦公的珍珠泉大廳時，各軍長起立，致以敬意。蔣介石滿麵春風，麵帶微笑，與軍長們握手，各軍長自然是一副討好的表情。
可到方振武那，沒等蔣介石開口，方卻說：“介石同誌，幸苦了!”
蔣介石聞之，立刻變顏，劉峙、熊式輝等人也由驚訝變成怒目而視。方振武說後，不覺蔣介石現在已經是中國頭號人物，依然談笑風生，自以為無事。
蔣介石在會上說：“此次作戰，各軍長辛苦了，有一件事要提一提，那就是在蘇魯邊境上，新二十一軍被敵人打出沛縣，三十三軍也潰敗時，三十四軍仍堅持作戰，未受牽動。當時要是三十四軍也動搖的話，後果不堪設想。”
本來，這是方振武和阮玄武的功勞，但蔣介石連方的名字也未提。這樣做，顯然因為方振武對他不恭。
事後，阮玄武軍長問及方振武說：“人家都稱蔣為主席，不稱主席，也該稱總司令，你為何隻稱‘介石同誌’?那樣，他哪裏會願意聽。”
方振武不以為然說：“我以為同誌稱呼最為親切，故而如此。”
阮玄武不知方振武是真是假，遂笑而不語。
方振武自以為山東省主席非他莫屬，將部隊也開進濟南城。
南京的任命下來後，卻是讓孫良誠任主席，方振武為濟南衛戍司令。
蔣介石無時不在玩政治平衡，有意托人傳過話來，謂第二集團軍要孫良誠擔任主席，所以隻能讓方屈就衛戍司令。蔣介石一句沒提馮玉祥，可話裏話外，暗示這是二集團軍馮玉祥的意思。不過，說起來也是實事，馮玉祥也是寸土必爭，想把山東拿到手，也非一天半天。
方振武本來就對馮玉祥不滿，因主席未能當上，對馮更是恨之入骨。
北伐軍進駐濟南，本是合情合理，三軍將士還陶醉在喜悅之中，籌謀下一步北伐，以圖攻克北洋軍閥最後堡壘。
不料，日本人公然出兵，進侵濟南城。
部隊進城後，三十四軍長阮玄武應四十一軍軍長鮑剛之邀，正要前往，突聽有槍聲，不知何事。士兵向他報告，說是日本鐵甲車開到駐軍大門前。阮玄武軍部設在濟南大新莊營房內。這本是張宗昌手下軍長方永昌自建私宅，格式像個大祠堂，看上去豔俗華麗，俗不可耐，可卻十分堅固，樓房又高又大。時阮軍長手下僅有一個工兵連和一個手槍連。
阮聞之，十分焦急，日本軍對探頭的士兵連連開槍，所幸電話未被切斷，剛知道此舉是日本軍部進行的軍事侵略。阮玄武正設法組織抵抗，電話傳來上級的命令，說蔣介石下死令，不準向日本軍開槍，違者軍法懲治。
原來，當北伐軍進駐濟南的同時，日本第六師團也開始進攻濟南。
以福田彥助為首的日軍，駐紮在日本僑民居住的商業中心，東洋兵很快與中國軍隊發生衝突。蔣介石急派熊式輝前去談判。
哪想到日本卻提出一個侮辱性的要求：任何中國人不準出現在新商業區街道；任何軍隊不得使用膠濟和津浦鐵路；所有中國軍隊必須撤離濟南二十華裏。熊式輝不能做主，請示政府。蔣介石又命精通日語的黃郛動身前往濟南。黃得令後，隻身前往，不想下車就讓日軍圍住，並把他押到福田那裏，接受一份文件，並要他簽字。
黃郛看過文件，說：“這哪裏是談判，文件的內容純屬荒唐。”
福田怒目圓睜，對其說：“你來了，隻是代表蔣介石簽字的，要是不簽，就要你的命。”
黃郛也是見過世麵的人，開始強硬起來，最終被日軍指揮部關押十八小時之久，直到他簽了“已閱’才將其放行。
日軍得逞後，更加囂張，先將前去交涉的總司令部戰地外交主任兼山東特派員蔡公時等十七人槍殺後，又給蔣介石新的壓力，繳了國民革命軍幾千人的武器。蔣介石無奈，命部隊繞道山東，繼續北伐。日本人仍不依不饒，向國民政府發出最後通牒：
一、嚴懲北伐軍高級官員；二、對抗日軍之軍隊須在日軍陣地前解除武裝；三、嚴禁一切反日宣傳；四、北伐軍撤退濟南及膠濟鐵路沿線二十華裏以外；五、開放辛莊及張莊營房，限十二小時以內答複。
蔣介石又命熊式輝前去，除了第二條，其餘全部答應，但日軍又以回答超過最後期限為由，下令重炮轟城，並公然占領了濟南，打死打傷六千餘人，製造了震驚中外的“濟南慘案”。
當時，蔣介石在黨家莊召開軍事會議時，馮玉祥也特地趕來參加，主張開戰。
蔣介石卻抱定主張，對日妥協到底，他對馮玉祥道；“別以為我不想打，你們要知道，日本人的目的是阻止北伐軍前進，對張作霖進行支援。日本人一直將東北視為自己的勢力範圍，若北伐軍繼續北進，英美的力量也就伸向華北，如果我們一時衝動，與日本人開戰，就將壞了北伐大舉。”
蔣介石一番話後，其心腹劉峙也隨聲附和，而主戰的馮玉祥、方振武、賀耀組等，則隻能悶聲不響。冷場後，蔣介石知道這樣做，無疑冷了諸位將軍的愛國之心，便又無奈說：“我們再研究研究，好好考慮考慮。”
蔣介石在無意中流露出謀大事，忍大辱情緒，最後做出決定，還是向日本人妥協，避免與日軍交戰，繞道黃河，繼續北伐。
濟南慘案發生後，諸多人已看透蔣介石，威信日下。這其中也包括很多北伐軍高級將領，為不久的新軍閥混戰留下了契機。
黨家莊軍事會議後，蔣介石確定了繼續北伐的方略，各軍團分路北上。然而蔣分石的嫡係部隊大都沒過黃河，參加北進的部隊多為雜牌部隊，陳調元的二方麵軍，從濟陽一帶渡河；方振武的第四方麵軍大部分從齊河上麵渡過黃河；一部分騎兵、炮兵則在濼口通過黃河大橋。渡河後，鐵路以東歸陳調元，鐵路以西歸方振武，阮玄武的三十四軍和範熙績的三十七軍聯合進軍，經過禹城、平原向德州進攻。
直魯聯軍已經完全失去抵抗能力，方振武部未遇到太大的阻礙。
蔣介石不將自己的嫡係放在先鋒，亦有打算，他已經與奉係張作霖暗中通款。張作霖有意退出北京，目前隻是作雙方實力最後的較量。蔣介石知道，華北可得，隻是時間早晚的事，但後方要是不放自己的部隊，真要是與奉張在北京激戰時，後院燒上一把火，將斷送北伐大舉。再者，馮玉祥、閻錫山、還有桂係，都想為自己找些好處，而那些雜牌部隊，也不願寄人籬下，最好讓他們自己去爭好了。
蔣介石關鍵時，到底技高一籌。
這時閻錫山也欲出娘子關，他小心謹慎，等馮玉祥進到寧晉、衡水線，進出正定、新樂，才讓五台山第四、第五方麵軍攻打龍泉、黑山關，進出於阜平、靈壽，與沿京漢線北進的第二方麵軍、第一方麵軍呼應。當沙河奉軍李振唐部退出平型關時，閻部李服膺追至靈丘。
見此，閻錫山自以為反攻長城唾手可得，不想奉軍仍以有生力量頑強固守，扼阻晉軍向完縣進出。
閻部第六軍豐玉璽幾度進攻，均被奉軍擊退。龍泉關軍事被阻，則右路軍主力縱然到達京漢線，也是孤立無援，而且有遭到奉軍反撲的危險。閻錫山分析戰況，采取了一個比較明智的舉措，他將左路軍合並於右路軍，命全力對付京漢線的奉軍。
左路軍總指揮揮商震得令後，部署左路軍為三路，一路以李培基率第一軍、王靖國的一個師進逼龍泉，以王師為先鋒部隊，對長城嶺進行攻擊；第二路為張蔭梧所率第七軍、陳長捷的第九師，策應李服膺師追循奉軍出靈丘，然後以李生達第十五師和陳長捷第九師壓迫雁門正麵之奉軍張作相部、湯玉麟部於渾源、應縣以北，完成任務後，立刻改變進軍方向，經靈丘向易縣進出；第三路軍以第四軍軍長傅存懷率張會詔第七師和張誠德、郭鳳山兩個師出雁門、靈武關，隨第七軍向大同、張家口挺進。