馮國璋之後是徐世昌繼任總統，段祺瑞仍是剛愎自用，到1920年終於發生了直皖戰爭。戰爭失敗，大勢已去，可是老段還住在公館裏不動。人們勸他避避風頭，他堅決不聽，他表示，聽憑他們處理吧。當時公館裏麵，上上下下，當然人心惶惶，但看老段沉住了氣，我們想他一定心中有底，也就等著瞧吧。果然，戰事結束以後，徐樹錚、曾毓雋、李思浩、段芝貴等人，都被列為禍首，懸賞通緝，而對於老段卻毫無傷損。不過，這一來，老段在北京是待不下去了，於是全家第二次搬到天津。這一回住的是日本租界壽街。
段祺瑞全家搬到天津以後，算是下野了，不能像在北京的時候一樣，日常開支由陸軍部之類的政府機關負擔，如家裏吃的糧食由陸軍部領，棋手的費用由陸軍部開支，現在都做不到了。生活方麵，不得不稍加緊縮。公館裏的男女傭人，都裁去了一些。棋手也減少了幾位，可是每天仍有人來陪他下棋。
他一天的生活，也沒有很大的變化。除了上午已經沒有衙門可上，早飯以後就看看書或會會客，午飯後休息起來仍舊是下棋、作詩，晚飯之後，還是打牌消遣。隻是自從來到天津之後，老段開始吃齋念佛起來。他原來就一向是單開夥食，不和家裏人一同進餐的，現在他開始吃素，家裏麵仍舊吃葷，請客時也用葷席，他自己專備兩三樣素菜。他平時最愛吃南方的豆豉，吃素之後，更成了每餐不可缺少的肴饌了。他吃素，可是吃雞蛋。他專養了幾隻母雞，沒有公雞，這樣下的雞蛋，據說是素的，可以吃。他在家裏辟了一間佛堂，清晨起來，焚香誦經，成為他照例的功課，後來一直堅持下去，始終沒有改變。
段祺瑞雖然吃齋念佛，但並沒有做到四大皆空，看破紅塵。他的學生、舊部每來公館看他，常說現在國內遍地烽火，人民塗炭，長此以往，國將不國了。今後要收拾這盤殘棋，使老百姓能過個太平日子，還非老師東山再起不可！他每逢聽到這類恭維話，雖然嘴裏不說什麼，但那冷若冰霜的麵孔上，也不禁多少露出一些笑容，可見這些話是打進他的心坎裏去了。
這時每天來訪的客人，在號簿上麵仍舊不斷出現日本人很繞嘴難記的名字，前麵說過的城口，更是經常在公館裏出現。城口常來天津，一到天津，便住在段祺瑞的內弟吳光新家裏。
1924年的秋天，直奉之間爆發了第二次戰爭，吳佩孚敗退天津，沒和段祺瑞見麵，可是聽說來過一封信。有人說：“吳小鬼到了十分的勁兒了，無路可走了，要求老頭兒給援助一下。”後來又聽說，段曾回了吳一封信，叫他離開天津，奔山東去。公館裏麵有人說：“老頭兒眼看吳小鬼掉在井裏頭了，小辮提一提，指給他一條明路。”有人就說：“上次直皖戰爭，老頭兒失敗了。吳佩孚通緝別人，沒傷損老頭兒一根毫毛，所以這時候老頭兒也不能不關照他一下。”吳佩孚的糧食、彈藥都在火車上，臨走時不能帶走，就在火車上貼了一個條子，“移交段督辦”。
吳佩孚走後，北京政府實際上成了沒有政府的局麵。張作霖、馮玉祥先後都到天津來了，和段祺瑞見了幾次麵，開了幾次會。聽說，曾經打電報請廣東的孫中山到北京來主持一切，不過，不知怎麼，沒等孫中山來到，就把段祺瑞捧了出來，當了北京政府的“臨時執政”。正應了那些人所說的話，“東山再起”了。一時公館裏麵喜氣洋洋，大家紛紛收拾，準備跟隨段祺瑞重回北京。
北京東直門內南門倉有塊空地，叫做“空府”，大概在早年曾經是什麼王侯的府邸，後來荒廢下來，成了一片空地。當段祺瑞在京時便計劃在那裏修建一所公館。那塊地皮很大，需要的磚瓦很多，老段便自己開窯燒磚。有個叫魏延平的，懂得建築工程，便委托他畫圖監工，在那裏建了一所規模相當宏偉的大公館。這所公館前後有四個大院子，還有若幹跨院。在東部有個不大不小的花園，裏麵有座小樓。後邊還有座大花園，一進門有堆假山。通向花園有道小河，可以栽種荷花。這所宅子蓋成後，段祺瑞還沒有搬進去，就發生了戰事，失敗後，段即下野，到天津租界裏做寓公去了。這次重回北京，雖然將執政府設在鐵獅子胡同陸軍部的舊址(今中國人民大學校舍)，但他的住宅便使用南門倉這所建成而沒有住過的新公館。他的住處在公館的北部，東半邊是馬號，還住有衛隊。那座小樓便成為他個人誦經的靜室。他雖然又重新出山做了執政，卻仍舊吃齋念佛，把靜坐念經作為他的一項日課，每天一定堅持決不放鬆。住宅南部還有一處房子，便送給張夫人過繼的兄弟張緒堂了。