大江南北烽火燃遍，然而這一切都跟段祺瑞沒什麼關係了。
在1926年4月至1927年4月這段時間，段祺瑞一直住在天津日租界的須磨街，他的住所和王揖唐的公館正對麵。下野的段祺瑞其實一直沒有死心，時時觀望著局勢，希望能有複出的機會。但軍閥們你打我我打你，打來打去，就是沒有人想起他段祺瑞來，他幾乎被主流政治徹底遺忘了。
段祺瑞大半生都在戎馬倥傯中度過，對家裏的事情向來不關心。下野以後，公館的規模縮小了，廚房裏麵隻剩下八九個人。當差打雜的，連看門的在內，不過十來個人。
段祺瑞在台上的時候，盡管曾經管轄過大半個中國，按說為家裏謀取一點小小利益對他來說不過是舉手之勞，甚至根本用不著他費心，隻要他不加以阻攔，自然會有大把的人給他送上。但段祺瑞從不為自己謀利，家裏沒有置辦過任何田產房屋，就連袁世凱送給他居住的房子，他都退還給原來的主人了，就因為房契在人家手裏。人家上門來要，堂堂國務院總理讓人堵在家裏要賬可不是什麼有麵子的事情，擱在別人身上恐怕就要動粗了，但段祺瑞沒有這麼做，相反還勸手下人不要計較，自己主動搬離了這棟房子，另外找了個地方租住下來。這點確實是難能可貴！
所以當了多年官下來，段祺瑞家雖然說不上是家徒四壁，但日子確實是不怎麼寬裕。在台上的時候，還經常有人接濟，家裏遇到點什麼困難，還是有人幫忙的，所以倒也沒有特別困難過，現在不一樣了，人走茶涼，來看他的人也少了，家境顯得入不敷出。
過去在北京的時候，家務事都由張夫人做主，每月的日常開支怎麼用他是不過問的，現在下野了，沒有工資，日子過得就有點緊巴了。所以段祺瑞也不得不細心起來，開始過問柴米油鹽這些瑣碎的小事。段祺瑞幹什麼事都是認真的，就連家務也不例外，每天開支是多少，買了多少煙酒，支付多少打雜的工資，他都要求下麵的人將賬目一一列出來，到月底他會親自過目檢查。
至於他個人的私生活，倒是和下野前沒什麼區別。段祺瑞生活很有規律，即使是在軍務繁忙的時候或者是國事勞心的時候，他的生活也是幾十年如一日。早上起來先要用冰冰腿（他有腿病），吃過早飯後，他就在書房裏辦公。他在位的時候，有些公事不送到衙門直接送到公館裏來，看罷公事再上衙門。中午，他照例回來吃飯，但他是單獨吃飯，不跟家裏人同在一桌。
即使是逢年過節的時候全家吃團圓飯，他也依然單吃一桌。他為人古板，一向不與人說笑，所以家裏人也樂得躲開他，免得拘束。
午飯後，段祺瑞要睡個午覺。下午兩三點起來會會客，下下棋。段祺瑞酷愛圍棋，還為此養了一批棋手，他在位的時候是由陸軍部給棋手開工資的，下野後就沒有這樣的待遇了。
關於圍棋，段祺瑞還曾經傳出過一段佳話，那就是和著名的圍棋高手吳清源的一段淵源。當時的吳清源還是個十來歲的小孩子，然而卻極具天賦，很多成名的圍棋國手都敗在了他的手裏。因為吳清源沒有段位，按照當時職業圍棋的通行規則，高一段的棋手與低一段的棋手下棋時要讓一子，所以有段位的棋手與他對弈最少應該讓七子。但是在讓七子的情況下，沒有任何人能贏得了他，後來大家就讓六子，然而依然是無法獲勝，再到後來讓五子，還是吳清源勝。
大家開始重視這個頗有潛力的圍棋少年，於是協議隻要與吳清源下棋，最多讓三子，但是吳清源在讓三子的情況下依然是勝多敗少。很快吳清源的名聲就傳遍了圍棋界，甚至引起了日本的重視。當時的圍棋界，日本是第一強國，而中國圍棋已經衰落多年，整體不是日本的對手。
日本人聽說中國出了這麼一位天才少年後，特意派出了一名五段棋手來華，但這名棋手在讓三子的情況下居然大敗給吳清源，後來讓二子還是無法取勝，再讓一子。讓一子棋下了三盤，吳清源二比一勝利。這名日本棋手完全歎服了，因為當時吳清源隻有13歲，而該棋手已經成名多年，何況他還是在圍棋強國日本的比賽中拚殺出來的。他終於意識到，這名少年如果加以正規訓練，前途絕對是不可限量，但中國圍棋不具備這樣的條件，終究會埋沒他。於是他積極活動，想讓吳清源去日本深造。
經過一番活動，日本圍棋界接受了他，但吳清源家境貧寒，沒有能力支付去日本的費用，有人就將這件事告訴了段祺瑞。段祺瑞當然了解吳清源的才華，考慮一番後，段祺瑞吩咐國務院為吳清源特別劃撥一筆款子，用作他的留學費用，支持他出國深造。在段祺瑞的支持下，吳清源得以成行。後來吳清源在日本圍棋界發展，成績很快就扶搖直上，短短幾年就在日本圍棋界站穩了腳跟，並一一擊敗了當時所有的圍棋高手，日本棋界曾經與吳清源進行過車輪戰，當時的本因坊一門盡出精英，而吳清源孤身一人應戰，仍然取得勝利，成為當時的世界圍棋第一人。直至今天，還沒有人能超越吳清源曾經達到的高度。
除了下棋，下午有時還舉行詩會。老段的左右親信中有不少是當時有名的詩人，像王揖唐、曹壤蘅、梁鴻誌等都是段公館詩會中的座上客。
晚飯時間，也許留棋手或詩人們一同吃晚飯，也許段祺瑞專請人吃飯。
不過，盡管段公館裏有專門的廚子做飯，飯菜還是很美味的，可是客人們多數都不願意留在他家裏吃飯。因為段祺瑞這個人為人比較古板，不喜歡說說笑笑，也不喜歡別人亂開玩笑說葷段子，跟他在一起特別拘束，所以大家寧可掏錢出去吃飯，那樣可以隨便一些。
段祺瑞還有一樣愛好：打麻將。每天晚飯後就是他的專用麻將時間。如果這一天有宴會，來客中有現成的牌手，那就順理成章，晚飯後接著鋪起牌桌，打上八圈或十二圈麻將。要是恰好沒有現成的牌手，那段公館裏當差的人就要忙碌了，四處打電話叫人，一定要約齊人讓老段過牌癮。
曾經有一段傳說：傅良佐打牌打出來一個督軍。傅良佐一直在段祺瑞身邊當差，每當段祺瑞人手不夠，他就自告奮勇頂替上來，陪著段祺瑞打牌。
後來湖南戰事勝利，段祺瑞就讓傅良佐當了湖南督軍。
段公館裏打麻將打得最熱鬧的時候是督軍團兩次在北京開會的時候，督軍團開會就是在段公館裏設幾桌麻將，邊打邊聊天。張勳、張懷芝、倪嗣衝等人可都是麻將桌上的高手。
麻將桌上不光可以打牌，還可以說事兒。
有一次，段祺瑞對鄧漢祥說：“二庵（陳樹藩）才有餘而德不足，袁項城做皇帝，陳事前竭力慫恿，以此來取信於袁，袁就派他帶兵到四川主持軍民兩政；帝製失敗時，陳又宣布獨立。就做人方麵、政治道德方麵來說，都不是應該的。”談到這時，陳樹藩進來了，得知打牌的還有吳光新，便衝口而出地說：“老師一生許多的事都誤於吳三爺（即吳光新）。”段便說：
“小學生又在亂說，小學生又在亂說（因陳樹藩係段作保定速成學堂總辦的學生）。”段祺瑞以玩笑來敷衍，還是不肯認錯。
還有一次在天津段祺瑞家中打牌，三缺一的時候，他家裏就打電話把陸宗輿約來。打完牌，陸宗輿先走了，段祺瑞對鄧漢祥說：“打牌雖是遊戲，也可以看出人的好壞來。陸宗輿打牌時鬼鬼祟祟的樣子惹人討厭。別人的票子都擺在桌上，他的卻裝在衣袋裏，要用了再去摸。別人和了牌，他總是要欠賬，過一會才給，老是讓別人不痛快！”
鄧漢祥說：“既然您說陸宗輿是壞人，那您過去為什麼要重用他呢？”
段祺瑞回答說：“是袁世凱重用他，我可沒有。”看來段祺瑞的記性不太好，“五四”運動時期陸宗輿就是幣製局總裁，而且是段祺瑞做國務總理時親自任命的。直到全國各地罷工、罷市、罷學要求懲辦曹汝霖、陸宗輿、章宗祥時，段祺瑞才不得不撤了他們。“五四”運動強烈的衝擊給了他巨大的壓力，他不得不默許了北京政府撤掉了這三個人。
下野後的段祺瑞生活上更簡單了，加上沒有了收入，家庭開支更是捉襟見肘。為了節省開支，段祺瑞搬到了一所小一些的普通住宅，因為缺錢麻將也不能打了，一日三餐就是米粥、饅頭、素菜。家裏的仆人走掉了一大半，實在看不下去的魏宗瀚後來邀約一些老兵自願前來幫助段祺瑞料理些雜務。就個人操守而言，段祺瑞為官清廉，從不聚斂錢財，在黑暗的民國政壇確實異數。
據說在下野的期間，段祺瑞還是不能放下對權位的眷戀，一度傳出要和溥儀聯合的傳聞。但很快因為兩人話不投機，最終沒有成功。原因就是溥儀搭皇帝架子不肯到段的住所來看他，而段祺瑞也不願去溥儀住的靜園拜見，於是約定在載灃的家中見麵（載灃是溥儀的父親，曾經的攝政王），但是這次會麵卻相當不愉快，溥儀以一種皇上接見湖廣總督的傲慢態度對待段祺瑞，深深激怒了仍自認為“國家元首”的老段，他便不再考慮與溥儀合作。
最後努力所謂百足之蟲，死而不僵，在下野最初的幾年，老段以及圍繞在他周圍的政客們並未放棄東山再起的願望，他們密切關注時局，不時也會搞出些動作來。
事實上，段祺瑞執政府剛垮台，直奉軍閥的矛盾立馬就尖銳起來了。
幾天前還與吳佩孚信誓旦旦，聲稱與吳佩孚議好，各奉軍絕對不入北京的張作霖，剛一趕走馮玉祥，就迫不及待地令奉軍和直魯聯軍強行開入北京，並任命了自己人做京師警察總監、京畿臨時警備總司令、京畿衛戍司令，以控製京師。吳佩孚不甘示弱，針鋒相對也任命了自己的京師警備總司令。於是北京城內就出現了這樣一個極其罕見的景觀：兩個北京政府，兩套官員班子。兩班人馬互不相讓，爭吵不休。吳佩孚深知自己在北方的勢力還不及張作霖，但張作霖政治上的活動餘地絕對不如自己，所以他期望從政治上控製大局，即恢複曹錕憲法，起用曹錕任命的顏惠慶內閣。張作霖當然清楚吳佩孚的用意，故激烈反對，堅持要恢複約法，召集新國會，讓他的親家靳雲鵬出來組閣。為此，雙方就所謂法統問題，函電紛馳，吵個不休。
然而，這時的形勢對張、吳來說都不樂觀：馮玉祥的國民軍雖然退到了南口，但是實力還存在；而南方的廣東已經得到鞏固，正在積極籌劃進行北伐戰爭，革命的威脅仍然時刻纏繞在他們心頭。為了穩定局勢，鞏固戰果，不讓南方的革命軍趁機各個擊破，張作霖首先做出了妥協，承認了吳佩孚組成的政府及內閣班子，即顏惠慶內閣。但他沒料到，吳佩孚竟然咄咄逼人，一點不給自己台階下，指使顏惠慶任命了所有直係人馬為內閣成員，完全將奉係排除在外，這令張作霖勃然大怒，於是反過來又以拆台的手段抵製，顏惠慶又成了空頭內閣。