段公館裏麵，除了太太、少爺、小姐們和下邊的當差、老媽子之外，還養了好些介乎上下之間的人。偶爾來閑住的不說，經常住在公館裏吃閑飯的就有不少。其中有幾位是以客禮相待的，也許可以說是客卿吧。
一位是西席老夫子，姓張，名漢元，聽說是前清的一位翰林。除了教少爺、小姐們讀書之外，在段祺瑞邀人作詩的時候，這位老夫子也被邀參加，一同吟風弄月。
還有一位是個大夫，名叫羅朗齋，豐潤縣人，我們稱他為羅師爺。羅當時雖然雙目失明，可是醫道很好，曾經給袁世凱治過疑難大症。羅師爺很得段祺瑞的信任，邀他住在公館裏，上上下下有了什麼頭痛腦熱，就找他開副方子，抓劑藥吃。這個人脾氣古怪，外邊有人請他看病，他架子挺大，輕易不肯出馬，要事先約定時間，而家裏下人有病，跟他一說，不管什麼時間，他讓人攙扶著顫顫巍巍地就過來給你看病了。他還有一個特殊脾氣，最煩病人向他敘述病情，要由他先診斷，看說得對不對。如果你先說病情，他就不開方子了，說：“你自己都知道了，還用我看病做什麼？”他雙目失明，醫理中的望、聞、問、切四項裏望字首先不能做到，不過他隻要一把脈，就能把病情判斷得八九不離十，所以公館裏上上下下對這位羅大夫倒都十分信任。
羅師爺的兒子羅鳳閣，號慰生，是自小在段公館裏長大的。段看他聰明伶俐，相貌也長得不差，便認他作幹兒子。羅管張夫人就叫媽。當時陸軍部有四個副官，羅鳳閣也是副官之一，但他不到陸軍部去辦公，而是在公館裏替段祺瑞辦事。有些來客，段本人不願意接見時便由羅代見。公館裏麵收到的信件，照例先送到羅的辦公桌上，由他摘抄以後，再送給段祺瑞過目，等於是段的一個隨從秘書。這個人性情很溫和，在公館裏人緣很好。在袁世凱當權後，段祺瑞乘坐軍艦到武漢去迎接黎元洪，羅鳳閣也跟著去了。途中羅鳳閣所坐的輪船發生事故，羅看情勢危急，便用軍刀將救生艇砍倒，放到水裏去，想坐救生艇逃命。不料輪船倒沒有釀成什麼大災，羅鳳閣卻掉在水裏淹死了。羅鳳閣死後，曾經改派陸軍部副官韓賓禮到公館裏來替段辦理公事，但隻來了一個很短的時期，以後就不再來了，也沒有另外派人接辦這些事了。
公館裏上上下下，都知道段祺瑞之所以能夠起來得這樣快，全靠袁世凱一手提拔。可是我們也認為，袁世凱能夠當上總統，也靠段祺瑞大力擁護。自從張佩蘅嫁給段祺瑞，兩家成了親戚，關係當然更近了一步。張夫人不斷進總統府見於夫人，而段祺瑞也經常在袁世凱的左右。誰都認為，段總長是袁總統麵前數一數二的紅人。
可是他們兩人中間也免不了產生矛盾，聽說有一次段祺瑞還氣歪了鼻子。那就是袁世凱計劃成立陸軍模範團的時候，袁世凱本意叫袁克定當模範團的團長。段說：“我看他不行吧。”段堅持不同意，談了半天，沒有結果。最後，袁說：“你看我行不行呢！”這一來，段祺瑞沒話可說了，於是模範團的團長就由袁世凱自兼。段祺瑞口頭上雖然不說什麼，心裏可在生暗氣。別人生氣可能不形於色，而段祺瑞一生氣，鼻子就歪到一邊去了。
到了1915年，袁世凱當總統還嫌不過癮，又想當皇上了。段祺瑞反對袁世凱稱帝。聽說他曾向袁世凱說過：“現在不可能，外麵空氣太壞。”可是段祺瑞本人就在那裏造空氣。他和江蘇督軍馮國璋，都是袁世凱的左膀右臂，他倆就常有電報來往。大概段祺瑞以為，隻要我在這兒采取反對的態度，外邊誰也不敢承認。
蔡鍔離開北京的時候，是見過段才走的。陳宦到四川，臨行時也來見過段。後來他倆宣布獨立，反對帝製，都可能和段有關係。
段祺瑞因為反對袁世凱當皇帝，兩個人感情越來越壞，於是段便推說有病，躲在家裏，不出門，不辦公，也不見客了。
有人說，袁世凱為了叫段擁護他當皇上，還曾經親自到段公館來過一趟，這不是事實。因為我就在號房裏，公館裏有這麼大的事，我不會不知道。又有人說，袁世凱因為痛恨段祺瑞不跟他合作，就派人送了一碗雞湯給段，表麵上說是慰問他的病，其實雞湯裏下有毒藥，想把段祺瑞毒死，不料這碗雞湯卻被段的一個姨太太喝下去，立刻毒發身死了。這也是捕風捉影的話。因為段祺瑞的姨太太裏麵，隻有大姨太太死在1914年，正是袁世凱當總統的時代。可是當時還沒有搞帝製，段和袁的關係也沒有發生裂痕，所以大姨太太的死，與袁世凱毫無關係。還有一位二姨太太後來死在天津日本租界，那已經是袁世凱死後的事了。其餘三位姨太太，都死在段本人之後。可見這種說法毫無根據了。
不過，在段祺瑞最初稱病請假的時期，袁世凱倒是不斷派人往公館裏送東西。什麼雞汁呀、參湯呀，差不多每天就有人送過來。段的病假是請一回，續一回，袁世凱的吃食是送一次，又一次。可是大家都知道老袁的手段毒辣，國務總理趙秉鈞就死得不清不楚，不曉得他這些雞汁、參湯是不是下了毒，所以段祺瑞當然不敢吃，公館裏也沒有人敢吃，隻有倒掉完事。當時又沒有經過化驗，其中是否下了毒藥，那就無從知道了。