對馮玉祥和國民軍，張作霖真可謂恨之入骨。一則，馮玉祥與張作霖最頭痛的“赤俄”拉上了關係，又同南方的“赤黨”眉來眼去，要在中國搞“赤化”；二則，馮玉祥策動和勾結郭鬆齡“造反”，將他這位張大帥搞得好生狼狽；三則，國民軍又乘郭鬆齡倒戈，奉係被攪得天翻地覆之機，奪走了奉係在京、津地區的熱河、直隸等省的地盤。總之，新仇加舊恨，使張作霖必欲除之而後快。國民軍呆在華北一天，張作霖就一天也不能安生。
張作霖使出的仍然是遠交近攻的策略，聯合老對頭吳佩孚，夾攻馮玉祥。想當初在第二次直奉戰爭中還是因為馮玉祥倒戈，張作霖才將直軍打得大敗，吳佩孚幾乎隻身脫逃。1925年秋，吳佩孚在孫傳芳等人的鼓動下，就任“十四省討賊聯軍總司令”。他要討的“賊”，起初指的就是張作霖。不過，吳佩孚的名聲雖大，實際上手下的兵將卻不多，因而對張作霖威脅不大。倒是孫傳芳、馮玉祥和郭鬆齡等人把張作霖狠狠地打了一下。
時過境遷，這對曾結下血海深仇的仇敵，卻在1926年初化敵為友，並且互換蘭譜，變成了所謂的“異姓兄弟”。
促使張作霖與吳佩孚捐棄前嫌、重歸於好的因素，主要有兩個，一是馮玉祥及國民軍的崛起，二是南方革命勢力的壯大。
打擊馮玉祥的國民軍，是兩人不約而同的契合點。吳佩孚當然不會忘記，他在第二次直奉戰爭中被張作霖打得一敗塗地，一個非常重要的原因，就是馮玉祥在戰場“倒戈”，背叛了他。因此，隻要一想到馮玉祥，他就寢食不安。隻是因為他被張作霖打敗之後，心有餘而力不足，無法對馮玉祥進行報複。盡管如此，吳佩孚並不死心。隨著形勢的變化，張作霖與吳佩孚的利害衝突逐漸退居次要地位，而馮玉祥與張作霖、吳佩孚的矛盾卻越來越尖銳，軍閥之間的重新組合也就成了必然的趨勢。在對待馮玉祥及國民軍的問題上，張作霖與吳佩孚又有了共同語言。如同1920年，他們聯合對付段祺瑞一樣，現在，張作霖、吳佩孚也都感到有必要聯合起來對付馮玉祥了。
促使張作霖、吳佩孚重新攜手的另一個因素，是以國共合作為基礎的南方革命勢力的迅速壯大。到1925年底、1926年初，以廣東為基地的南方革命軍不但成為一支勁旅，而且很快將進行擬議中的北伐。盤踞兩湖的吳佩孚首當其衝。張作霖雖然暫時還不會直接麵對南方的革命軍，但也感覺到了威脅的存在。因此，共同對付南方革命勢力，阻止國民革命軍北伐，就成了張作霖和吳佩孚重新聯合起來的又一重要基礎，用他們自己的話來說，就是要聯合起來共同“反赤”。
正是由於上述因素，張作霖和吳佩孚這對冤家對頭，一變而成了盟友。
事實上，吳佩孚剛打起“討賊”，亦即“討張”的旗號不久，張、吳之間就開始暗送秋波。在這方麵，張作霖采取了主動。他一邊讓張宗昌在山東放風，大談山東奉係“願意服從玉帥指揮”，向被稱為玉帥的吳佩孚示好，一邊派代表拜訪吳佩孚，對他說，直奉戰爭是“鷸蚌相爭，漁翁得利”，隻有直奉聯合起來，才能“天下無敵”；並向吳佩孚提出合作條件，即奉軍出關，釋放曹錕，擁直係元老王士珍為總統，等等。吳佩孚“投我以桃，報之以李”，爽快地向張作霖的代表表示：“過去的事情，不用談誰是誰非了，今後隻有合作才能救國。”初步溝通以後，張作霖和吳佩孚就開始相互致電問候。當郭鬆齡倒戈，張作霖處境艱難之時，吳佩孚曾在電報中說：“以前馮玉祥倒戈，令我痛心，現在郭鬆齡倒戈，你也是痛心，我願意幫助你。”同病相憐之情，躍然紙上。郭鬆齡倒戈一失敗，吳佩孚亦正式宣布結束“討奉”戰爭。
從1926年初開始，張作霖與吳佩孚的聯合進入了實質性階段。1月間，張作霖派張景惠專程到漢口拜訪吳佩孚，並同吳佩孚的代表張誌潭會談。與此同時，吳佩孚也派吳天民、杜孝穆等人到奉天拜訪張作霖。雙方初步商討了直奉聯合進攻國民軍的計劃。
雙方一邊協商，一邊付諸行動。張作霖首先派兵攻打已改編為國民軍第四軍駐山海關的郭鬆齡殘部。該部在奉係攻擊下，由魏益三率領，從山海關撤退至京津地區。1月19日，奉軍即重新占領山海關和九門口，控製了進關的大門。與此同時，張作霖又命令由李景林、張宗昌所部改稱的直魯聯軍，從山東向直隸的國民軍進攻。就在奉係攻占山海關的同一天，吳佩孚也在漢口召集軍事會議，決定直係軍隊分兩路進攻河南的國民軍，其中一路由湖北北上河南，一路與直魯聯軍會合，從山東進軍豫東。至2、3月間，吳佩孚的直軍即先後占領了鄭州、開封，並繼續北上，迫近石家莊。李景林、張宗昌的直魯聯軍，也突破馬廠國民軍的防線，逼近天津。國民軍節節退卻，逐漸陷入三麵包圍之中。馮玉祥為緩和張作霖、吳佩孚的進攻，通電宣布下野，將所部國民軍改稱西北軍，交張之江指揮，他自己則暫時避往蒙古、蘇聯。
正當張作霖準備揮師入關，大幹一場時，奉係集團內部又起了大波浪。代理奉天省省長職務、被稱為奉係後方大總管的王永江，突然辭職不幹了。如同前一年的郭鬆齡倒戈一樣，此事也給了張作霖一個沉重打擊。難怪張作霖後來抱怨說：“郭鬆齡以槍杆子倒戈，王永江則以筆杆子倒戈。”事情的嚴重性，由此可見一斑。
王永江撂挑子並不是為了實現個人野心，而是在政見上與張作霖分歧太大。素有“理財能手”之稱的王永江嘔心瀝血整頓奉天財政，仍難以滿足奉係集團日益膨脹的巨大軍費開支。以1925年為例，奉省的財政總收入約為2300萬元，而軍費總開支卻高達5100萬元，僅東三省兵工廠一年的費用，即需2300萬元。為了填補這一空缺，王永江絞盡腦汁，一方麵加征賦稅，一方麵則被迫濫發紙幣――奉票。這又無異於飲鴆止渴，不但造成百業凋敝，而且導致金融紊亂。結果，通貨膨脹，物價飛漲，東三省的老百姓深受其苦。王永江為巨額赤字急得一度“左目失明”。