除了下棋，下午有時還舉行詩會。老段的左右親信中有不少是當時有名的詩人，像王揖唐、曹壤蘅、梁鴻誌等都是段公館詩會中的座上客。
晚飯時間，也許留棋手或詩人們一同吃晚飯，也許段祺瑞專請人吃飯。
不過，盡管段公館裏有專門的廚子做飯，飯菜還是很美味的，可是客人們多數都不願意留在他家裏吃飯。因為段祺瑞這個人為人比較古板，不喜歡說說笑笑，也不喜歡別人亂開玩笑說葷段子，跟他在一起特別拘束，所以大家寧可掏錢出去吃飯，那樣可以隨便一些。
段祺瑞還有一樣愛好：打麻將。每天晚飯後就是他的專用麻將時間。如果這一天有宴會，來客中有現成的牌手，那就順理成章，晚飯後接著鋪起牌桌，打上八圈或十二圈麻將。要是恰好沒有現成的牌手，那段公館裏當差的人就要忙碌了，四處打電話叫人，一定要約齊人讓老段過牌癮。
曾經有一段傳說：傅良佐打牌打出來一個督軍。傅良佐一直在段祺瑞身邊當差，每當段祺瑞人手不夠，他就自告奮勇頂替上來，陪著段祺瑞打牌。
後來湖南戰事勝利，段祺瑞就讓傅良佐當了湖南督軍。
段公館裏打麻將打得最熱鬧的時候是督軍團兩次在北京開會的時候，督軍團開會就是在段公館裏設幾桌麻將，邊打邊聊天。張勳、張懷芝、倪嗣衝等人可都是麻將桌上的高手。
麻將桌上不光可以打牌，還可以說事兒。
有一次，段祺瑞對鄧漢祥說： “二庵（陳樹藩）才有餘而德不足，袁項城做皇帝，陳事前竭力慫恿，以此來取信於袁，袁就派他帶兵到四川主持軍民兩政；帝製失敗時，陳又宣布獨立。就做人方麵、政治道德方麵來說，都不是應該的。”談到這時，陳樹藩進來了，得知打牌的還有吳光新，便衝口而出地說：“老師一生許多的事都誤於吳三爺（即吳光新）。”段便說：
“小學生又在亂說，小學生又在亂說（因陳樹藩係段作保定速成學堂總辦的學生）。”段祺瑞以玩笑來敷衍，還是不肯認錯。
還有一次在天津段祺瑞家中打牌，三缺一的時候，他家裏就打電話把陸宗輿約來。打完牌，陸宗輿先走了，段祺瑞對鄧漢祥說： “打牌雖是遊戲，也可以看出人的好壞來。陸宗輿打牌時鬼鬼祟祟的樣子惹人討厭。別人的票子都擺在桌上，他的卻裝在衣袋裏，要用了再去摸。別人和了牌，他總是要欠賬，過一會才給，老是讓別人不痛快！”
鄧漢祥說： “既然您說陸宗輿是壞人，那您過去為什麼要重用他呢？”
段祺瑞回答說： “是袁世凱重用他，我可沒有。”看來段祺瑞的記性不太好， “五四”運動時期陸宗輿就是幣製局總裁，而且是段祺瑞做國務總理時親自任命的。直到全國各地罷工、罷市、罷學要求懲辦曹汝霖、陸宗輿、章宗祥時，段祺瑞才不得不撤了他們。“五四”運動強烈的衝擊給了他巨大的壓力，他不得不默許了北京政府撤掉了這三個人。
下野後的段祺瑞生活上更簡單了，加上沒有了收入，家庭開支更是捉襟見肘。為了節省開支，段祺瑞搬到了一所小一些的普通住宅，因為缺錢麻將也不能打了，一日三餐就是米粥、饅頭、素菜。家裏的仆人走掉了一大半，實在看不下去的魏宗瀚後來邀約一些老兵自願前來幫助段祺瑞料理些雜務。就個人操守而言，段祺瑞為官清廉，從不聚斂錢財，在黑暗的民國政壇確實異數。
據說在下野的期間，段祺瑞還是不能放下對權位的眷戀，一度傳出要和溥儀聯合的傳聞。但很快因為兩人話不投機，最終沒有成功。原因就是溥儀搭皇帝架子不肯到段的住所來看他，而段祺瑞也不願去溥儀住的靜園拜見，於是約定在載灃的家中見麵（載灃是溥儀的父親，曾經的攝政王），但是這次會麵卻相當不愉快，溥儀以一種皇上接見湖廣總督的傲慢態度對待段祺瑞，深深激怒了仍自認為“國家元首”的老段，他便不再考慮與溥儀合作。
最後努力
所謂百足之蟲，死而不僵，在下野最初的幾年，老段以及圍繞在他周圍的政客們並未放棄東山再起的願望，他們密切關注時局，不時也會搞出些動作來。