梁士詒本是多事之人，沒想到自己能東山再起，自己又是當今大總統任命的國務總理，隻要在不惹惱奉係情況下，也是我行我素。
洛陽的吳佩孚，還等著召開國民大會，把皖係餘孽徹底消滅，將徐世昌也趕下台，重新捧出適合自己口味的總統，沒想到奉係先下手了，把梁士詒給弄上台，大罵徐世昌和張作霖不是東西。吳佩孚密電曹錕後，立即通電全國，抓住“膠濟鐵路”的事大作文章，利用輿論，進行倒閣，捎帶著把徐世昌也挖苦個夠。吳佩孚為了達到倒閣的目的，把揭露梁士詒進一步升格。同時，直係軍閥也都惟恐天下不亂，地方督軍陳光遠、齊燮元、蕭耀南、劉鎮華等，因在直皖戰中得到吳佩孚的甜頭，也先後通電支持吳佩孚，反對梁士詒組閣。
梁士詒在徐世昌的授意下，公開否認向日本借款贖膠濟鐵路的事。這一來，更是此地無銀三百兩，各地進步團體也把矛頭對準了梁士詒。吳佩孚一見時機差不多了，以直係領袖的姿態，聯合直係大部分軍閥致電徐世昌，要求立刻罷免梁士詒，同時表示和梁士詒內閣斷絕關係，又通電外交使團，聲明凡梁士詒對外簽定條約，概不承認有效，以此迫使梁士詒倒台。
關內的張作霖再也坐不住了，知道吳佩孚是“項莊舞劍，意在沛公”，知道不得不出馬了。可張作霖剛有反應，南方的吳佩孚便殺氣騰騰說：“若有袒護梁氏者，即為吾人之公敵，當誓殺盡，以除國奸。”
吳、張在電報上你來我往，相互揭短，直奉大戰，已臨一觸即發之勢。
直係將領吳佩孚、齊燮元、陳光遠、蕭耀南、田中玉、趙倜、馮玉祥等又開始進一步羅列張作霖十大罪狀：阻撓國民大會、推薦洪憲禍首、複辟罪魁張勳、援引安福係餘孽盤踞要津、斷送青島、勾結外人、貽禍祖國等等。真把張作霖罵個狗血噴頭，說他“白山黑水之馬賊，得以縱橫一世，馳騁中原，國家體麵何在，國民人格何存!張胡子不死，大盜不止，盜閥不去，統一難期”。
張作霖在關外，算是讓吳佩孚給逼到絕路上。
從張作霖個人來講，因為直係領袖還是曹錕，他不願把事情鬧大，而此時浙江的盧永祥和北洋元老王士珍也都出麵調解。張作霖稍有緩和，可吳佩孚愈加強硬，揚言“除非那馬賊把梁士詒捆來見”。張作霖見狀，隻能橫下一條心，和吳佩孚拚個魚死網破。
1922年4月中旬，張作霖開始命令奉軍入關，雖然向曹錕為首的直係宣戰，但矛頭直接指向吳佩孚，通電全國說：
乃吳佩孚者，狡黠成性，殃民禍國，醉心利祿，反複無常。盤踞洛陽，甘作中原之梗，弄兵湘鄂，顯為吞食之謀。迫脅中交兩行，掠人民之本，勒捐武漢商會，塗炭生靈，較闖、獻(李闖王、張獻忠)為更甚，強梁罪狀，比安史而尤浮，惟利是圖，無惡不做……天地所不容，神人為之共怒。
此刻，直奉大戰，已沒有回旋的餘地，一場貽禍國民的軍閥之間的交惡，箭在弦上。吳佩孚親臨保定，麵見曹錕，他深知曹錕和張作霖是姻親關係，總是下不了狠心，如不前去陳述厲害，老帥到時一犯軟，事情反而不好辦丁。
吳佩孚見到曹錕後，果不出他所料。
曹錕對他說：“子玉，你對這場仗，有沒有把握，雖然事情到了這步田地，我想雨亭仍不會食言。他曾保證永遠不向我動兵。”
吳佩孚說：“老帥，你可不要讓張雨亭給耍了，他雖然在電文裏沒有直接提您的名，好像全是衝我來的，但直係是您的家當，如果這次老帥因為私情，不肯下手的話，我看直係就有分崩離析的危險。若再想從您的親家手裏要回哪怕是手指甲那麼大的地盤，我相信，他也不會因為和老帥有姻親就肯割自己身上的肉。”
曹錕說：“子玉，你知道我是非常看重你的。我想的並不是和雨亭的私交如何，而是這樣下去，會有什麼結果?”
吳佩孚聽到這話，心裏明白了好幾分，心想你曹錕就知道地盤和錢財，不願意和奉係開戰，是怕偷雞不成丟把米。於是他信心十足說：“老帥放心，隻有一種結局，就是從此後，華北和華南，再也沒有人敢和老帥爭高低。到那時，北京政府隻有一個太上皇，而不是兩個。”
吳佩孚這句話算是點在曹錕的脈上，他知道吳佩孚所指另一太上皇是張作霖，心想若不敲掉奉係勢力，早晚也是病。曹錕話一轉說：“子玉，你不用太深說，我也看出來了，張雨亭搞掉靳雲鵬，把交通係梁士詒抬出來，肯定是和卜五(徐世昌字)算計好的，是衝咱們直係來的。說起來，張雨亭也太不講信義，教訓教訓他也好，讓他呆在關外老實點。”
吳佩孚說：“要是沒有日本人給張作霖頂著，我能打到滿洲裏去。”
兩人言畢，相視而笑。
吳佩孚一口一個老帥，把曹錕哄得滴溜亂轉，那思路全跟著吳佩孚走。吳佩孚所以管曹錕叫“老帥”，是因為直皖戰後，吳佩孚名聲過大，底下人都稱他為“玉帥”。熟讀詩書的吳佩孚深深懂得功高震主，可又舍不得“大帥”的稱呼，便讓手下人管曹錕叫“老帥”。這樣一來，穩固了自己“大帥”的威名，又不至於得罪曹錕。
吳佩孚跑到保定來對曹錕許願，並非空穴來風，對這場戰爭，他是做了充分準備的，而且他還有一張王牌，那就是他已經派自己的秘書陳廷傑到天津收買張作霖的虎將張景惠。陳廷傑雖然沒得到張景惠的親口承諾，但收下直係的厚禮。吳佩孚倒也不指望張景惠能反戈一擊，在關鍵時候，他能撤一把火就可以了。
得到曹錕的準許，吳佩孚將直皖大戰時的部隊原班北調，拉開包圍京、津之勢，其目的或切斷山海關，或把張作霖部趕出關外。
關外張作霖，對這場“誰主沉浮”的戰爭，也是絞盡腦汁。他先與廣東政府聯係，要他們出兵湘、鄂、贛，又要張勳的舊部與張文生會師安徽，讓陳樹藩進攻陝西，同時拉攏河南的趙倜、趙傑兄弟共同反吳，搗毀吳佩孚在洛陽的老巢。華北這方麵，張作霖率奉軍大舉入關，屯兵軍糧城、獨流、津沽、密雲、古北口和京浦鐵路之良王莊、馬廠、蘆台等地，以軍糧城為大本營。
張作霖還啟用了皖係下台的舊軍閥王占元、張敬堯、吳光新等人。這些人雖然都下台，沒有多少實力，可他們也都有自己的下屬。張敬堯的舊部吳新田在陝西，王占元的舊部在湖北。這些人也得到張作霖的封官許願，巴不得殺掉吳佩孚，東山再起。張作霖原來派去支持直係打皖的兩個師，仍在關內，他又調兩個師駐京郊，從山海關到津、京一帶，全部布防了重兵。
奉軍總用兵力和直係差不多，都在十二萬人左右，可由於海軍總司令蔣拯通電助直，海軍上將薩鎮冰率艦北上，直駛秦皇島、大沽口，威脅了奉軍後方。張宗昌率部分奉軍，由海道繞至青島，直驅山東，沒想到這次行動被魯督田中玉發覺，立即通電，請日本青島駐軍出麵，不準奉軍登岸。
這樣一來，張作霖突擊山東的計劃成為泡影。蘇、浙兩省，一看形勢對吳佩孚有利，馬上宣布“保境安民”，使得奉軍以浙軍擾蘇的打算也落了空。河南趙倜兄弟本有反吳念頭，可是由於直軍的及時控製，亦不能實現，奉軍原來所有的企圖全部泡湯，最終也隻能和吳佩孚麵對麵幹了。
張作霖奉軍分東西兩路，東路軍由他領銜，第一梯隊是張學良，第二梯隊是李景林；西路軍司令是張作相，第一梯隊由他本人擔任，第二梯隊是張景惠。五月初，直奉兩軍都相互捏造戰況，吹噓自己的勝利。張作霖雇了一批下流文人，天天有捷報，而吳佩孚在自己所管轄的省市，更是隨心所欲發號外。