這時，馮玉祥從莫斯科回到綏遠省，在蘇聯顧問和共產黨人的幫助下，在五原縣舉行了“五原誓師”，就任國民軍聯軍總司令，發動對張作霖、吳佩孚的進攻。吳佩孚三麵受敵，四顧孤危，不得已逃亡四川。曹錕失去依靠，不得已回到天津做了寓公。
這時，曹錕已經六十四歲，1862年生，二十歲當兵，在外打拚四十二年。現在丟盔棄甲回到原籍，不能不令人感慨萬端！
曹錕娶過四個夫人：大夫人鄭氏，息事寧人，為人厚道，對姐妹、家人、子女如同親人，在家中深孚眾望。二夫人高氏祖籍鄭州，出身名門，可惜紅顏薄命，生得一女後早逝。三夫人陳寒蕊，為徐世昌二姨太的表妹，年輕貌美，性情古怪，生有一子一女。四夫人劉鳳瑋性格剛烈，通情達理，生有二子一女。回津之初，曹錕全家住在英租界19號路一所公館裏。
曹錕仕途維艱，連遭打擊，心情難免鬱悶，得了糖尿病，健康每況愈下。他本想家庭和睦，安度晚年，但陳、劉視如水火，經常為財產、為子女、為雞毛蒜皮大吵大鬧，甚至大打出手，直至花重金雇用英租界工部局巡捕、流氓、無賴互相鬥毆，一時間成了小報頂尖新聞，炒得津京沸沸揚揚。劉鳳瑋頗感苦惱壓抑，不顧曹錕一再挽勸，帶領子女憤然搬到英租界洛陽道山泉裏一所小洋樓居住，發誓不再回來。
曹錕另一件煩心事是繼子少珊。兒子士嶽（陳氏所生）出生後，少珊退繼歸宗，回到生身父母身邊，但曹錕萬貫家財依然由他把持。他弄虛作假，轉移挪用，揮霍浪費，把曹家大部財產掏空。為此，陳寒蕊耿耿於懷，經常跟曹錕尋釁哭鬧。
還有，兒子士嶽的婚事也不讓曹錕省心。經北洋故人撮合，曹士嶽與袁世凱十四女袁祜貞結婚。同係民國總統後人，門當戶對，很多人認為是一樁美滿姻緣。但婚後僅四個月，突然發生轟動京津的“婚變案”。由爭吵到對罵，到動手腳，袁祜貞打電話向家裏求援，曹士嶽突發一槍，擊傷袁祜貞右臂，令其住進醫院。袁家告發，曹士嶽被租界當局拘押。兩個勢力家庭對簿公堂，一時成了大小報刊的趣聞。
經過一次次打擊，曹錕心中鬱悶，病情日漸沉重。一日，他給劉鳳瑋寫信：
親愛的鳳瑋：我年老多病，不久於人世了。小慶兒（曹少珊）一次次氣我，陳氏經常使性妄為不管我，鄭氏年老體衰管不了我。夥食一天比一天差。望你看在多年夫妻的份上救救我吧，我心力交瘁，病勢沉重，快不行了……
讀到信，劉鳳瑋哭了。她是個通情達理，頗具同情心的人。她十九歲被逼嫁給曹錕，與曹錕相差三十多歲，犧牲了青春、藝術和愛情，跟一個糟老頭子，談不上兩情相悅，更談不上愛情。但是，他們畢竟一起生活了十多年，而且生兒育女，加上母親苦說苦勸，她毅然把曹錕接回自己家中，請來中西醫為他診治。她為他定時抓藥熬藥喂藥，精心著意調理他的飲食，早晨、晚上陪他散步散心。曹錕酷愛京劇，鳳瑋不時在後花園唱上一出，博得他開心一笑。
由於精心治療，心舒意暢，曹錕胖了，體格健壯了，病情好轉了。他自己編了一套“虎拳”，每天早晨拉著鳳瑋練拳。曹錕擅長畫梅、石，寫一筆虎。他有“一點梅花天地心”、“萬代一如”等幾枚印章，每次畫完都要蓋上不同的印章，署上“樂壽老人”或“渤叟”等別名。
同其他落魄的軍閥、政客一樣，曹錕也信佛，每天定期參禪打坐念經。有時，大街上傳來賣鳥人的吆喝聲，他會命家人叫到院裏全部買下，打開鳥籠放生。夏天，曹錕院裏常常聚集著拉車的、賣菜的、賣大碗茶的以及左鄰右舍的窮人。他有躺椅不躺，光著脊梁，扇著大蒲扇，坐著小凳子跟人們閑聊。曹錕徹底體會到無官一身輕的快慰，返璞歸真的悠閑。
齊燮元、高淩霨、熊炳琦、閻治堂、宋哲元、靳雲鵬、杜錫鈞等同僚舊部常來拜訪他。定居北京的吳佩孚，鑒於有“不入租界”的諾言，逢年過節，經常派子女前來探望……
1937年，日本侵略者發動了震驚中外的“七七”事變，一舉占領華北。日本人組成“華北自治委員會”，想用“以華治華”的手段，收買漢奸走狗為其服務，妄圖永遠分裂中國。許多趨炎附勢之徒，成了萬人唾棄的漢奸、賣國賊。日本人盯上段祺瑞、吳佩孚、唐紹儀等民國大佬，當然也看中曹錕，想拉他們下水，組成華北傀儡政府。
一天，有兩個穿便衣的日本特務來到泉山裏曹宅，正在作畫的曹錕，聽說日本人來訪，出於禮貌把他們讓進門。日本人說，他們是奉土肥原將軍之命，特請大總統“出山”，建立以曹大總統為中心的華北政府。曹錕在位時是“親英美派”，對日本人素無好感；加上他們發動侵華戰爭，所到之處燒殺搶掠，無惡不作，對中國人民犯下滔天罪行，所以，沒等日本人說完，便指著他們的鼻子，曆數其罪行。最後，硬邦邦甩出一句話：“你們死了心吧，我曹錕即使窮到賣褲子當襖，也不會為你們做事！你們走！”日本人灰溜溜地走了。
日本人並不死心，土肥原又使用新的誘降方式：先派原江蘇省督軍、蘇皖贛巡閱使、現任偽京津衛戍司令齊燮元勸降。曹錕夫婦知道他不懷好意，任憑他敲得門山響，就是不開門，終於把他氣走。從那以後，曹家定下規矩：大凡日本人、漢奸來訪，一律不準開門，鑰匙掌握在劉鳳瑋手上。
這以後，土肥原又派來偽河北省長高淩霨。其時，曹錕正躺在床上抽大煙，一見高淩霨，曹錕臉色大變，把煙槍一摔，吼道：“滾出去，以後不許你登我家門！”
土肥原黔驢技窮，氣急敗壞，隻好放棄拉攏曹錕。
1938年5月中旬，曹錕因衝涼感冒發燒合並肺炎，雖經多方治療，終因年事已高，於16日溘然長逝，享年七十六歲。天津各界為他舉行了隆重葬禮，吳佩孚夫人張佩蘭親來奔喪，吳佩孚本人在京舉重孝致哀。日本政府、重慶國民黨政府派要員吊唁，並送大宗撫恤金，但遭到劉鳳瑋拒絕。重慶國民黨政府有感於曹錕的民族大義，發布特別訓令，對其予以褒獎，並追授曹錕一級上將軍銜……
曹錕一生，既平步青雲，風光無限，又曲折坎坷，曆盡浮沉。在軍閥混戰、梟雄並起的時代，人的命運不可能不受環境的左右。處於風口浪尖上的曹錕的賄選直接引發了第二次直奉戰爭，一係列影響中國近代史的重大事件隨之相繼發生，“賄選”之名傳至久遠。一代梟雄的可笑與可悲，作為曆史笑料留了下來。
然而，一個出身低微的士兵，後來成為叱吒風雲的直係領袖，僅僅一個“賄選總統”的名稱無法概括他的一生。他統率千軍萬馬，左右政局，自有過人之處。外交家顧維鈞在回憶錄中說：
在我的政治經曆中，我曾親身接觸過中國的幾乎每一個重要的政治和軍事領袖，我認為曹錕總統確實是個有意思的人。我覺得他一定具有某些不尋常的品質，使他能從一個普通士兵登上中國政權的頂峰。為此我對他很感興趣，注意對他進行觀察和研究。我發現他有幾件事給了我的探索以答案，表明他雖然幾乎從未受過學校教育，卻是個天生的領袖。舉個例子，曹錕不僅能得到他的政治追隨者的忠心擁戴，還能使他的軍事將領們如吳佩孚大帥之流感到心悅誠服。
而當曹錕解甲歸田後，得失榮辱都如枯葉飄零，在曆史的寒風中消失得無影無蹤。曹錕晚年在民族危亡關頭寧死不做漢奸，表現了一個中國軍人的氣節，為自己悲喜交加的人生書寫了最後的驕傲。
作為曾經叱吒風雲的直係大軍閥，曹錕的名字在曆史上是無論如何也抹不去的。