事實上，段祺瑞執政府剛垮台，直奉軍閥的矛盾立馬就尖銳起來了。
幾天前還與吳佩孚信誓旦旦，聲稱與吳佩孚議好，各奉軍絕對不入北京的張作霖，剛一趕走馮玉祥，就迫不及待地令奉軍和直魯聯軍強行開入北京，並任命了自己人做京師警察總監、京畿臨時警備總司令、京畿衛戍司令，以控製京師。
吳佩孚不甘示弱，針鋒相對也任命了自己的京師警備總司令。於是北京城內就出現了這樣一個極其罕見的景觀：兩個北京政府，兩套官員班子。兩班人馬互不相讓，爭吵不休。吳佩孚深知自己在北方的勢力還不及張作霖，但張作霖政治上的活動餘地絕對不如自己，所以他期望從政治上控製大局，即恢複曹錕憲法，起用曹錕任命的顏惠慶內閣。張作霖當然清楚吳佩孚的用意，故激烈反對，堅持要恢複約法，召集新國會，讓他的親家靳雲鵬出來組閣。為此，雙方就所謂法統問題，函電紛馳，吵個不休。
然而，這時的形勢對張、吳來說都不樂觀：馮玉祥的國民軍雖然退到了南口，但是實力還存在；而南方的廣東已經得到鞏固，正在積極籌劃進行北伐戰爭，革命的威脅仍然時刻纏繞在他們心頭。為了穩定局勢，鞏固戰果，不讓南方的革命軍趁機各個擊破，張作霖首先做出了妥協，承認了吳佩孚組成的政府及內閣班子，即顏惠慶內閣。但他沒料到，吳佩孚竟然咄咄逼人，一點不給自己台階下，指使顏惠慶任命了所有直係人馬為內閣成員，完全將奉係排除在外，這令張作霖勃然大怒，於是反過來又以拆台的手段抵製，顏惠慶又成了空頭內閣。
直奉不和的消息傳到了段祺瑞耳中，這讓他大喜過望。他想利用矛盾，挑撥雙方的關係，好讓兩方都無法獨攬北京政權，這樣自己就可以趁機漁利。不過段祺瑞的努力並沒有收到預期的效果。張作霖剛剛得手，還不想這麼快就與實力相當的吳佩孚翻臉，相反還必須尋求雙方最大程度的合作。
為了聯合對抗越來越具有威脅性的南方革命軍，直係和奉係不得不拋開恩怨，吳佩孚和張作霖結拜為兄弟，同一天決定徹底消滅國民軍。吳佩孚自告奮勇擔任南口戰場對國民軍的正麵主攻，奉軍則從北方進攻國民軍，國民軍本來就實力不足，又沒有任何外援，很快就兵敗。
但是國民軍並沒有白忙活，因為他們的抵抗，牽製了大量直係主力。北伐戰場上的進展才如此順利，北伐軍接連占領漢陽和漢口，節節勝利，10月10日，武昌被北伐軍攻下，吳佩孚在華中地區的重要據點喪失了。11月初，北伐軍攻下南昌，又消滅了孫傳芳的大部分主力。直係兩大佬損兵折將，地盤喪失，至此直係勢力蕩然無存。中國大地上，隻剩下了最後一支舊軍閥隊伍——東北的奉係。
張作霖的政治野心越來越膨脹，他在天津住所“蔡園”召集軍事會議，邀請奉軍、直魯聯軍將領和吳佩孚、孫傳芳的代表，閩、陝、晉等省的代表參加，討論如何聯合對抗北伐軍和國民軍的問題。
幾天後，張作霖被推舉為安國軍總司令、海陸空大元帥，宣布聯合各地軍閥，共同進攻北伐軍。但他沒想到，就在他躊躇滿誌，準備消滅北伐軍，一統天下的時候，一場針對他個人的危機悄然來臨。而事件的幕後主使，就是他一直以來的靠山——日本人。
日本人現在非常不滿張作霖，原因在於隨著實力的膨脹，張作霖越來越不把日本人放在眼裏，讓日本人感到控製他越來越難。
1927年，日本首相田中義一派了一個強大的談判團找到張作霖，要張履行郭鬆齡反奉時張以個人名義同日本簽訂的密約。張作霖早將這事忘到了腦後，以前他被郭鬆齡逼得快要下野的時候，不得不依靠日本人度過權力危機，三十年河東三十年河西，現在的張作霖兵強馬壯，其勢力如日中天，在國內幾無對手，對於日本人的牽製就顯得不那麼安心俯首帖耳了，轉而對日本采取拖延、敷衍態度。此外他還不斷拉攏英、美等國家，企圖求得他們的支持；牽製日本，引起日本人深深的忌恨。他們決定采取斷然的手段消滅張作霖，另外扶持自己的傀儡主持東北大局。
從1926年7月至1927年3月，北伐進展順利，消滅了吳佩孚、孫傳芳兩大軍閥的主力，革命勢力擴展到長江流域，南京政府成立。全國的形勢變成了國民政府與奉係的對抗。很快，當年4月，第二次北伐開始，1928~6月上旬便打到北京附近了。