正在北京的張作霖準備撤離，退回東三省。日本人決定在這時候下手，暗殺張作霖。否則一旦讓他回到東北，憑借他在東北多年打下的根基，想要動他就更難了。對此張作霖是有所覺察的，他不斷更改出關日期，不斷對外發布離京回奉的消息，然而他還是沒能逃過日本人的暗算。
1928年6月3日晚，張作霖所乘專列回東北，專列到達皇姑屯站（這是一個京奉路與南滿路交叉的火車站），日本特務提前安置在這裏的炸藥引爆了，張作霖的專列被炸彈炸得粉碎，張作霖本人傷重身亡！
日本欺人太甚，東北三省軍民聯合起來舉行了聲勢浩大的反日大遊行。
少帥張學良接過父親的旗幟，掌握了東北三省全部軍政大權。1928年12月底，張學良通電服從國民政府，正式易幟。南京政府明令張學良為東北邊防司令長官。至此，北洋軍閥中的最後一大派係——奉係從曆史的舞台上退出了。中國進入以蔣介石為代表的新軍閥統治時期。
張作霖死之前，段祺瑞就已經看出了跡象，於是他趁日本人準備拋棄張作霖之機，向日本人提出由自己取代張作霖來組建臨時政府。但日本當時並沒有十足的把握能扳倒張作霖，因此對段祺瑞的要求沒有答應。
段祺瑞繼續等待時機。
“九·一八”事變發生後，蔣介石的不抵抗政策遭到全國人民的唾棄，各階層一致要求停止內戰，抗日救亡，對蔣介石本人的不滿也開始在全國蔓延。於是那些北洋舊軍閥們又看到了翻身的曙光，不管以前他們是皖係、直係還是奉係，現在他們隻有一個敵人：蔣介石。
1932年11月，北洋派舊軍人在土肥原的策劃下，在濟南舉行會議，聯合擁戴段祺瑞、吳佩孚合作反蔣。然而眼看全新的局麵即將開創，北洋係內部的矛盾再次使這一計劃胎死腹中。
事情的起因頗有些滑稽！因為矛盾的焦點，竟然又是安福係。
安福係的確是臭名昭著，北洋內部除了段祺瑞的皖係能容納他們，其他派係對安福係和其中的主要活動分子都極為討厭，像韓複榘就表示擁護段祺瑞沒有一點問題，但絕對不能用原安福係任何一人，否則他寧可退出，也不願意看到安福係的嘴臉。段祺瑞不能不顧及這些人的意見，便表示自己今後絕不再用安福係的人，而改派自己的長子段宏業代表自己與日本人往來接洽。
然而，安福係之所以如此臭不可聞，就因為他們是天上地下獨一無二、臉皮之厚世上無雙的安福係，而不是別的什麼人。他們有一樣最為獨特的武器——無恥！
成也蕭何，敗也蕭何。當年段祺瑞依靠他們控製了整個北京政府，今天老段同樣要栽在他們身上。天下沒有不透風的牆，段祺瑞將在沈陽組織政府的消息不知怎麼還是泄露了，安福係兩位重要人物王揖唐、姚震得知後，惱羞成怒。好啊，有好事不找我，你們關起門來吃獨食，想都別想！
姚震馬上行動起來，他直接跑去找土肥原說，他不反對段祺瑞出山，但堅決反對他們瞞著他幹這件事。並且對土肥原揚言： “你們幹什麼事我都不反對，但是要撇下我單幹我是不會答應的。我成事不足，敗事還是有餘的。”他倒是雷厲風行，說到做到。不久，天津《大公報》就刊載了獨家消息披露了這一計劃，並開炮猛攻段宏業，說他禍國殃民、投敵賣國。
得知原委後，段祺瑞氣得跳起三尺高，鼻子又一次氣歪了。但是此時無職無權的他，拿這幾位活寶也是毫無辦法。
日本人也突然轉變了態度。“九·一八”事變後，段祺瑞曾經公開談到他對東北事變的看法，說日本人是強盜，但是現在這個強盜已經登堂入室進來了，他們不一定會將東北拿走。我們可以給他一些好處，先把土地拿回來再說。這讓日本人覺得，段祺瑞不過是在臨時利用他們，一旦時機成熟，很可能就是雙方反目的時候。段祺瑞靠不住，還有誰能合作？最後他們想到了溥儀。於是最終形成了日本拉溥儀組織東三省傀儡政權偽滿洲國的局麵。
利用日本重登大位的希望告吹，再也沒有別的路可走了，這時候又冒出個陳炯明來。陳炯明在1923年初被滇桂軍閥楊希閔和劉震寰聯手驅逐出廣州，1925年宣布下野。這次，他派人聯絡津滬各下野的軍政人員，以抗日為由號召進行反蔣，他希望段祺瑞出來支持他，但段祺瑞經過不斷的策劃失敗，對政治的熱情漸漸減弱，他表示自己年紀越來越大，沒有什麼精力了。最好讓陳炯明速來主持，自己可以盡全力支持他。陳炯明的一番運動，又煽起了一些下野政客和軍閥們不甘寂寞的心，消失已久的孫傳芳、張宗昌都表示，歡迎陳炯明來天津與段祺瑞合作，共同反蔣。段祺瑞指派侄兒段宏綱和王揖唐專門到上海去見陳炯明，商量將旗號由“抗日倒蔣”改為“聯日倒蔣”。因為此時日本已經在圖謀分裂華北，希望段祺瑞出來搞一個華北政府。陳炯明欣然同意，隨即北上，與段祺瑞合作。