蔣介石說：“老師不累嗎？”段祺瑞說：“不累，不累。”蔣介石稱段祺瑞老師是因為他曾就讀保定北洋陸軍速成學堂，段祺瑞曾是該學堂總辦。下船後，段祺瑞由蔣介石親自送到位於中山東路的下榻處勵誌社。
其實所謂共商國事，蔣介石明白，段祺瑞更明白：沒什麼好商量的。所以段祺瑞在南京隻停留了兩三天的時間，這幾天他的主要活動就是去中山陵祭拜己故的孫中山先生。在前往陵園的途中，蔣介石手扶段祺瑞，邊走邊談。蔣介石保持了自己的學生禮節，而段祺瑞則是坦然接受，似乎在他眼裏，蔣介石仍然是自己的學生，而不是現在的中國最高軍政長官。
段祺瑞不願留在南京，正好他住在上海的小女兒段式荃有病，他就以探病為由謝絕了蔣介石留他住南京的建議。兩天後，段祺瑞就結束了南京之行，前往上海，他將在那裏度過自己人生最後的時光。蔣介石待段祺瑞還是非常周到的，特別指示軍政部總務廳每月撥出40000元，作為段祺瑞隱居期間的生活用度。
段祺瑞在上海生活期間，主要從事佛法研究，還給自己取名“正道居士”。
1936年11月2日，因腸胃疾病，醫治無效，段祺瑞逝於上海，享年72歲。
臨終前，他親筆寫就遺囑，交付從天津趕來的兒子段宏業。此文是段祺瑞一生心血的總結，字裏行間不乏真知灼見，讓見者動容。為了尊重段祺瑞人生中最後一點印記，現全文摘錄如下：
“餘年已七十餘，一朝怛化，揆諸生寄死歸之理，一切無所縈懷，唯我瞻四方，蹙國萬裏，民窮財盡，實所痛心。生平不為多言，往日徙薪曲突之謀，國人或不盡省記，今則本識途之驗，為將死之鳴，願國人靜聽而力行焉。則餘雖死猶生，九原瞑矣。國雖危弱，必有複興之望。複興之道，亦至簡單。勿因我見而輕啟政爭，勿空談而不顧實踐，勿興不急之務而浪用民財，勿信過激之說而自搖邦本；講外交者勿忘鞏固國防，司教育者勿忘寶（保）存國粹，治家者勿棄固有之禮教，求學者勿騖時尚之紛華。本此人（八）勿，以應萬有。所謂自力更生者在此，轉弱為強者在此矣。餘生平不事生產，後人宜體我樂道安貧之意，喪葬力崇節儉，斂以居士服，無以葷腥饋祭。此囑。”
11月5日，國民政府以退休元首的最高禮儀，決定為段祺瑞舉行國葬。
段祺瑞去世的消息傳出，各方吊唁紛至遝來，既有北洋故人的，也有南京政府的，各國駐滬領事也前往吊唁。關於安葬問題，蔣介石有意將其葬在南方；但段宏業表示，段祺瑞生前曾說他一生功業多在北京，百年之後願歸葬京郊西山。於是段祺瑞的靈柩便在12月5日公祭之後運往北京。
12月10日，靈車抵達天津。天津市市長張自忠主持公祭，曹汝霖、李思浩、陸宗輿、王揖唐以及齊燮元、何豐林等北洋舊人全部都來了，連以前的老對手吳佩孚也帶病前來，給昔日的老師和政治對手送最後一程。
1937年，盧溝橋事變發生，日本軍進占華北，北京成了日本在華北統治的中心。日本人大批入京，由於沒有辦公的地方，他們便大量征用比較寬敞的王公府第大小公館，段祺瑞的南門倉公館也被日本人看中了。但是考慮到段祺瑞生前和日本人的關係，他們沒有像對待別人一樣動粗，而是花了40萬元直接將房產買了下來。
然而，日本人進入北京之後，不僅沒有放過段祺瑞的公館，而且也沒有放過他死後停靈的所在。臥佛寺也被日本人征用了，催著段家把段祺瑞的靈柩移出去。
段宏業找了那麼久都沒找到一塊滿意的風水地，這急切中更是抓瞎。多虧段祺瑞三弟段子猷的兒子曾經在北京西郊置了一塊墳地，於是段祺瑞的靈柩便匆忙從臥佛寺中起出，挨著段子猷墳地埋葬了。下場也頗為淒涼！
回頭想想段祺瑞，轟轟烈烈了一輩子，死後居然沒有一塊葬身的地方。
蓋棺定論，六不總理
段祺瑞是清末以來至民國初期，中國曆史上一位不可多得的政治家。說他不可多得，並非是說他的政績多麼輝煌，他能讓曆史記住，還在於他個人的人格和操守，讓他獲得了即使是對手也不得不表示出的尊重。
作為政治家，段祺瑞也有雄心抱負，他的政治理想可以直接找出的證據是1925年9月18日發表在《政府公報》上的一篇文章《內感篇》，還有就是他1926年寫的一首詩《策國篇》。