三天後，吳佩孚帶領8000勇士，返回北京，試圖救出曹錕，奈何此舉早在馮玉祥的意料之中，防守異常森嚴，吳佩孚營救失敗。
北京政變之後，控製北京政權的馮玉祥，在幽禁大總統曹錕之後，又將原大清皇帝溥儀驅逐出宮，同時電邀孫中山進京共商國事，邀段祺瑞再次出山來主持北京大政。擊潰直係軍隊後，張作霖率奉軍再次入關，他也推舉段祺瑞來主持北京大政，試圖與段祺瑞合作，共同對付馮玉祥。
到11月10日，分別來自掌控直係和奉係的兩個軍事實權人物——馮玉祥、張作霖，與皖係的領袖段祺瑞在天津召開會議，而後組織了臨時執政政府，段祺瑞出任臨時總執政。實際上，北京政權牢實地捏在張作霖與段祺瑞的掌控之中。
此時，曹錕仍被囚在總統府，由他的弟弟曹銳陪著感歎唏噓往來的一些事情，直到11月29日，曹銳被喚去“過堂”服毒自殺，曹錕的生活，變得一片黑暗。
張作霖與段祺瑞掌控北京政權之後，與馮玉祥的矛盾越來越大，為了對付馮玉祥，張作霖轉而與吳佩孚聯手，倆人共同進攻馮玉祥的國民軍。馮玉祥抵擋不住，與1926年4月，帶領國民軍退出北京城。在吳佩孚的威逼下，段祺瑞隻好自動下台，將北京政權交由吳佩孚和張作霖共同打理。直到這時候，被囚禁了一年半的曹錕才恢複了自由。
曹錕如做夢一般，總統當了一年，被囚禁了一年半，這會兒醒來，看到又是手下吳佩孚掌權，大總統之夢又烈烈地眩目起來。把心裏的夢欲與吳佩孚一講，卻遭到了吳佩孚堅決地反對。曹錕見再一次輝煌難以兌現，隻好與1926年5月1日通電全國，辭去大總統職務。開始住在保定羊市大街，到這年10月，吳佩孚的主力被北伐軍消滅，曹錕隻好移居天津。
先是與他的鄭夫人和陳夫人住在在天津英租界內的19號路，結果很不稱心。就給劉夫人去信發牢騷說：“慶（曹少珊的乳名）的心肝壞了，他們也不管我，我可能不久於人世了，對士英和士嵩我管得少，很覺對不住你，你要照顧好他們。”
曹錕的劉夫人最小，因不願同鄭夫人和陳夫人一起，就帶著一雙兒女住在英租界的泉山裏。接到曹錕的信，劉夫人把曹錕接來，細心照顧。曹錕的病日漸好轉，心情也好起來。早上練拳、打坐練氣功。飯後不是練書法，就是畫畫。曹錕喜愛國畫，尤其擅長畫梅花、山石、螃蟹、一筆虎等。為提高技藝，曹錕還請來一些高人，指導書畫。由此結交了齊白石，倆人交情甚厚。
曹錕脾氣隨和，此時更是隨和到了極點，就連他的保姆戴媽也說：“總統在世時，不管有多少大官等著見他，隻要聽說我來了，就要先召見我。”
夏日的傍晚，曹錕愛與院子裏的窮鄰居來閑聊。無論是拉洋車的、賣菜的，還是賣大碗茶的。曹錕與大夥坐一樣的小板凳，喝茶聊天、地北天南，談笑風生，根本看不出是一個當過大總統的人。
曹錕晚年信佛，珍愛生命。有一次，他聽到有人在街上吆喝賣鳥，便出去把鳥全都買下，仔細地久久地端詳著籠中的鳥兒，長歎一聲，打開鳥籠，看著小鳥一隻隻飛出鳥籠、飛向天空，他舒心地笑著，深情地注視著鳥兒飛去的方向。
曹錕下野後，身邊隻有兩個侍從，一個先生（相當於秘書），及一些門崗、夥夫、司機、老媽子、丫頭之類。然而，家中卻是客人不斷，甚至常常門庭若市。除了往日的部下，就是一些社會名流。大家一起聊聊家常、談談政局，有時打打麻將、下下象棋，日子過得也還愉快。吳佩孚與曹錕關係最厚，常派子女前來探望曹錕。逢年過節，曹錕及劉夫人也派子女去探望吳佩孚。
1931年，九一八事跡，日本強盜強占了我東三省。為用曹錕的名聲來影響中國民眾，日本特派人到天津請曹錕“出山”。曹錕知道了來意，斷然拒絕。日本人並不死心，又派“冀察政務委員會”的委員、昔日曹錕的好友齊燮元來做說客。曹錕知道來意，連大門都不開。
1938年5月初，曹錕因感冒轉成肺炎，醫治無效，於5月17日（農曆四月十八）病故，終年76歲。6月14日，國民黨政府因曹錕拒絕與日本人合作，特發布訓令，予以表彰，追授曹錕為陸軍一級上將。