段祺瑞的姨太太們由於我看家時期，門戶太緊，當時嘴裏雖然沒有說什麼，但是心裏可把我恨透了。等到劉三被老段休回北京，劉四、李五她們兔死狐悲，把這口毒氣噴到我的身上，想在老段麵前撥弄是非，又不敢自己出頭。這幾個姨太太平素都把姑奶奶捧得挺不錯，就把姑奶奶鼓動出來，在老段麵前告了我一狀，說我沒規矩，不把她們放在眼裏，非把我攆走不可。老段起初還不聽，可是這位姑奶奶說：“你要再留下他，那我就沒法兒在公館裏住下去了。”這樣老段才決定叫我回北京。張夫人聽了，還問老段說：“你幹嘛叫小王走呀！”老段說：“姑奶奶說的，要留下他，姑奶奶就要走了。我能讓姑奶奶走嗎？”這一來，張夫人當然不好再說什麼了。於是我離開了天津段公館回到北京閑住。
我回到北京有半年光景，有一天看見老段的四姨太太劉四坐著一輛洋車從鐵獅子胡同走過。我很奇怪，向別人一打聽，才知道劉四也和劉三一樣，被老段打發回娘家了。後來聽說劉四嫁給了一個在報館做事的，日子過得還不壞。
又過了一些時候，有一天，段祺瑞的侄子段宏綱到北京來，派人把我找去見他，說：“現在我在天津就了個小事，營業稅處的處長，你給我幫忙去吧。”當然，我在家裏閑住也住不起，段宏綱有這份好意，我自然挺感激，就隨他到天津，在營業稅處第一分處(英租界)當辦事員。過了幾個月，調到河北地緯路總處裏在庶務上辦事。又過了幾個月，便派我到會計室擔任會計主任。我雖然離開了段公館，可是十幾年的老人，沒事的時候，短不了到段公館裏去串個門兒。
1931年，日本人在東北製造了“九？一八事變”，妄想吞並我國的東北四省。可是他們又不敢立即明目張膽地統治東北，很想在中國政治舞台上找一個適當的人物，給他們做個傀儡。由於段祺瑞過去的地位和他同日本人的曆史關係，就成了日本小鬼認為是最適當的對象之一。於是日本人如城口等等，便三三兩兩，陸續在須磨街段公館出現。而老段的親信，也有一些人如梁鴻誌等，利欲熏心，希望老段再一次東山再起，也在一旁打邊鼓，極力慫恿。
蔣介石風聞老段被日人包圍，恐有不妥，便派人接段到南方去。這一天，段宏綱忽然把我找去說：“老頭子已經答應老蔣到南邊去了。我也決定跟他去。營業稅處的事就委托你替我辦交代。這裏交代完了，宅子裏一些零碎事，你也給料理料理。宅裏有些人跟著到南邊去，可是帶不了這麼些人，你發給他們每人三個月遣散費，讓他們回家。還有租界裏的自來水、電燈等等費用，也別欠人家的，一項一項還清了，就算你手續交代了。事情辦完了，你也回北京去吧。咱們後會有期。”我聽他說完，當然表示一定照辦，還到段公館裏看看老段和張夫人。在他們動身那一天，我送他們到車站上，替他們張羅一切。張夫人，二、五兩位姨太太，姑奶奶，上上下下一共幾十口人，都隨老段一同到南邊去了。他們在上海住的是霞飛路陳調元的公館。
老段走後，我先把段宏綱營業稅處的交代辦清，就到公館裏替他結束善後。這些傭人，有的跟隨老段多年，很不願意走。我費了好些唇舌，才把他們一個一個對付走了。再把水、電手續一一開銷清楚，把房子交還房東，我也就離開天津回到北京來了。
1936年，段祺瑞死在上海，聽說臨終時還親筆寫了一個“八勿”遺囑。當時蔣介石的意思是本想在南方給老段安葬，段宏業不同意，不知道他有什麼理由，堅持一定要運回北京來。當段的靈柩運到北京時，我也到車站去迎接。宋哲元、秦德純等等華北政權的要人，以及老段生前的親戚、門生、舊部，也紛紛到東車站來接靈。當時吳佩孚在四川、西北過了一段流亡生活已經回到北京，住在什錦花園。他平素雖然很少到段公館走動，這一天也親自到車站來迎接他這位老師的靈柩。
靈柩到站以後，先抬到西直門旁邊一個廟裏停放，迎靈的人分批前去上祭。第二天早晨就把靈柩運到西山臥佛寺，停放在該寺北屋西裏間，砌了一段洋灰牆和外間隔斷。段宏業當時也曾為他爸爸在八寶山等處找墳地，東看風水，西瞧地理，怎麼也沒看好一塊合適的塋地。