1925年12月中旬，徐樹錚從國外回來，興高采烈地來見段。段一見他，顯得挺不高興，仿佛說：“這時候你回來幹什麼？”攆他快走。小徐在京住了不過幾天，於12月底離開北京乘坐專車南下。沒想到專車開到廊坊，便發生了事故。當時報紙上登載說是陸建章的兒子陸承武替父報仇，其實誰都知道是馮玉祥的主意。當時一股空氣對小徐不利，老段當然早有耳聞，所以見徐回到北京，立刻催他快走，不料最後還是難逃別人的毒手。小徐是老段一生中最寵信的人物，竟在他身任執政的期間，又在離北京不遠的地方，糊裏糊塗被人殺掉了，段祺瑞如何能夠不氣？由於徐樹錚的死，老段鼻子又氣歪過一回，大半天不能正過來。
老段當了執政，真是號令不出國門一步，執政的風光隻表現在出門的時候淨淨街而已。所以連他的內弟吳光新都看出苗頭來了，借著到日本觀操的名義，一去不複返了。
段祺瑞的執政下台以後，第三次到天津過寓公生活，這一次住在日租界須磨街，和王揖唐的公館正對麵。
南門倉的公館隻留下一個趙文貴帶著幾個人照看，全家上上下下都跟老段到了天津。段下野以後，公館的規模也縮小了。廚房裏麵隻剩下八九個人。當差打雜的，連看門的在內，不過十來個人。原來太太小姐們一個屋裏就有三四個老媽子，現在也就是一兩個人。他的總管孫榮貴在民國5年就死了，以後換過秦瑞廷、李慶雲等幾個人。他每次換總管，都是從老人裏麵找。這次到天津，總管周克勤又走了，公館裏麵當差的老的老，小的小，要不然就是目不識丁，不能夠寫寫算算，實在找不出人來了，才派我給他當總管。
過去在北京的時候，家務事都由張夫人做主，現在老段比過去認真了，每月的日常開支，如柴米油鹽以及煙卷茶葉之類，都要一天一天記在賬本上，每月送給他過目。當時他的生活費用，光是這些日常開支，每月大概在五六百塊錢以上，在他說來，那已經是十分節約的了。我給他管這本小賬，一管就是兩年多。
1928年，段祺瑞帶著張夫人和二姨太到大連住了不少，公館裏的人們仍舊住在天津日租界。他的幾個年輕的姨太太們平素就背著老段常常出去聽戲、看電影，老段走後，就更肆無忌憚了，經常打扮得花枝招展，出去逛公園，劃船，天天晚上要到深更半夜才回來。我一看這樣搞下去，萬一發生什麼事情，這個責任我可擔負不起，就規定每天晚上11點上門。關照姨太太們，出門的時候，務必在11點以前回來，過了11點，上了門，任憑是誰我可就不開了。執政不在家，門戶不得不格外小心。
前麵說過，老段一生氣，鼻子就歪了，所以人家都管他叫歪鼻子。起先我還不相信，後來親眼看見過幾回，才知道不是別人捏造的。不過，由於我個人的緣故，惹他動了回大氣，甚至氣歪了鼻子，十幾年來隻有一次，我直到現在還記得清清楚楚。
那是1929年，段祺瑞從大連回來以後不久，忽然吩咐我把他的三姨太太(我們平時稱她作劉三的那位)送回北京。我當然遵命辦理，把劉三送到朝陽門裏南小街竹竿巷她的娘家。見著了她的媽，我們稱呼她劉老太太，臨走時，我說：“明天我就回天津，您有什麼事沒有？”她們娘兒倆什麼話都沒有說，第二天一早我就回到天津，向老段複命。老段說：“以後每月給她寄30塊錢去。”下一個月，我當然照辦，並把這筆開支記在賬本上麵“付三姨太太30元”。月底，我照例把賬本送給老段審核。他看著看著，忽然把賬本一扔，什麼話不說，鼻子立刻就歪了。我一看他動了真氣，也不知道哪筆賬寫得不對，也不敢問，心想等下去，不是等著挨揍嗎？隻好把賬本拾起，放在他桌子上，悄悄溜了出來。隔了一天，我得去領賬本呀，又到他房裏去了。他看見我，指著賬本說：“以後不許叫她三姨太太，寫劉氏。”我當然唯唯稱是，這才一塊石頭落了地。可是為什麼不許稱三姨太太而要改稱劉氏呢？過後聽老媽子們議論，才知道劉三不規矩，事機不密，被老頭子發覺，把她休回去了。而且說也奇怪，和劉三胡搞的，不是外人，竟是段宏業的兒子大旺。劉三走後，她生的兒子十二仍舊留在公館裏，由奶媽撫養著。