誰能想到，在《時代》封麵上出現還不到一個月，被稱作“中國最強者”的吳佩孚吳大帥，就從聲名的巔峰跌落下來。
直係獨霸中央政權後，雖然勢力極度膨脹，但由於遭人唾棄的賄選、血腥鎮壓“二七”大罷工，以及企圖依靠武力實現直係的一統天下等行徑，引起舉國公憤。
1923年9月15日，張作霖以反對直係發動江浙戰爭為由，出兵15萬人，分兩路向山海關、赤峰、承德方向進發，曹錕任吳佩孚為討逆軍總司令，率20萬人馬迎戰，第二次直奉戰爭爆發。
10月，當吳佩孚親率10萬大軍正在激戰之時，因不滿吳佩孚排除異已的直係第三軍總司令馮玉祥，突然帶領他在後方的3萬人馬從熱河撤軍倒戈，發動了“北京政變”，囚禁曹錕，推翻了直係中央政權。直係的內訌直接導致直係在第二次直奉戰爭中慘敗。11月，直軍全軍覆沒。
第二次直奉戰爭結束後，吳佩孚率殘部敗走天津，想從水路乘船南逃武漢。沿途不斷受到閻錫山、馮玉祥及奉軍的追擊。吳佩孚兵敗之際，有人出來調停，勸其“背曹擁段”，他以“孝悌忠信禮義廉恥”八德拒之；日本政府不安好心地提出，請吳佩孚暫時退入日本租界。吳佩孚斷然斥道：“堂堂中國軍官，托庇外人，有傷國體，烏可為者也!”他的部下中也有人勸他，暫時到租界避避風，他堅拒並宣稱：“誰要我入租界，我要誰的腦袋!” 他一手提拔起來的老部下蕭耀南請吳佩孚到武漢的法租界，他斷然說道：“我決不打破不入租界，不借外債的原則。”
吳佩孚最終成為悲劇人物，表麵看來，是部將馮玉祥所害，背後捅了他刀子，馮於陣前的反戈一擊，令吳猝不及防，應聲倒地。但史家多認為，是曹錕拖垮了他。曹錕的賄選致使中國走馬燈似的政壇亂象迭起，國內局勢如沸騰之鼎，終至人神共憤，最後使直係功敗垂成。吳佩孚的武力統一中國、獨步天下的美夢化為泡影。
就在吳佩孚險象環生之際，1925年10月20日，直係將領孫傳芳等人聯合川、黔、桂、粵等14省軍政長官21人聯名致電吳佩孚，敦請他出山，組織全國聯軍，共討張作霖，並推舉吳佩孚就任“十四省討賊聯軍總司令”。他再次擔當起主持軍國大事之責任，並宣布：“恢複約法，依照法律解決國內一切糾紛，誌在統一救國。”
然而，吳佩孚的統一救國夢尚未實現，便被“北伐軍”打敗了。1927年7月13日，為躲避蔣介石、馮玉祥的追殺，吳佩孚打電報給曾受過其重恩的四川軍閥楊森說：“我已無路可走，不論你允許與否，我都隻有入川一途了。”吳佩孚帶著他的幕僚及5000官兵，流亡入川，受到楊森的庇護。直到1931年春，蔣介石的政權鞏固，才允許吳佩孚離開四川。
吳佩孚屢次兵敗，已心灰意冷。在結束了四年流寓生活後，應張學良以子侄身份的邀請定居北平。1932年2月1日晨，吳佩孚乘火車抵北京西直門車站。張學良率領華北軍政官員到車站迎接。當天下午，吳佩孚到順承王府張學良的私邸回訪，一見張學良就板起麵孔責問：“沈陽事變為何不抵抗？”
張學良回答：“有命令。”
吳佩孚訓斥：“你豈不聞，將在外，君命有所不受麼？”張學良無言以對。
吳佩孚咄咄逼人：“你怕抗日，我幫你抗，我不是為名為利，我左手拿回東三省，右手交給你。你國仇家仇不報，真是不忠不孝!”