1928年4月2日，張學良、楊宇霆下達攻擊令，命令於學忠、戢翼翹、富雙英各軍及騎兵第一、第二兩軍，以戢翼翹為中心，向豐樂鎮一帶的馮玉祥部隊進攻。馮軍不敵，向漳河南岸退去，戢翼翹率部緊追，逼近了安陽城北麵；於學忠占領了回龍鎮，逼近安陽城東麵，兩軍成夾擊之勢，對馮軍孫連仲部形成合圍，殲敵1500餘人，安陽指日可下。與此同時，張作相的第五方麵軍也已經進占了山西重鎮大同，進逼五台，占領井陘，整個晉北已處於奉軍包圍之中，閻錫山部隊搖搖欲墜，已呈崩潰之勢。
但是此時張作霖所最擔心也最不願意看到的情況還是發生了。進入4月中下旬，魯南局勢已經岌岌可危。蔣介石於4月9日發布北進的總攻擊令後，13日許琨就丟掉了韓莊。張宗昌不得不令各部在泰安、界首兩地布防，張宗昌相信自己的實力，以為自己兵多糧足，無論如何也可以學習楊虎臣、李虎臣二虎守西安的壯舉，即使八個月守不到，守上個四個月總可以了吧？四個月不行，兩個月那是絕對可以的。但是事與願違，僅僅過了半個月左右，蔣軍就攻占了泰安，29日又攻占了界首，張宗昌敗軍紛紛潰退，濟南的門戶大開。此時孫傳芳在哪兒呢？孫部本來還是有些戰鬥力的，坐守濟寧應該沒有多大問題，但是偏偏孫傳芳老是想著重溫五省聯軍總司令的舊夢，一有機會就想著反攻，也不看看眼前形勢。這次張作霖讓他固守濟寧，協防魯南，但他看見蔣軍布置在徐州的兵力空虛，於是忘了張作霖的話，率軍去攻徐州了。孫傳芳一動，正在西邊虎視眈眈的馮玉祥部孫良城、方振武趁虛襲占了濟寧，頓時使孫傳芳進退失據，不得不命令全軍向濟南方向撤退。界首失陷後，孫傳芳與張宗昌一起趕緊由濟南北退。蔣介石遂於5月1日進占濟南。濟南失陷，津浦線上的大門洞開，京津震動。奉軍此時雖然對於馮閻均有優勢且已取得軍事上的勝利，但天津麵臨威脅，如果天津失陷，則張作霖主力第三、第四及第五方麵軍團將無路撤退。為此，張作霖決定保存實力，令三、四、五軍團速向灤東五縣和關外逐步轉移，同時於5月9日發出求和通電，但是蔣、李、閻、馮認為是緩兵之計，不予理睬，繼續北進。張作霖眼見主和無望，於是積極準備退往關外，以圖後舉。