“三？一八慘案”發生了，執政府已經喪盡民心，段祺瑞卻不願下台。3月下旬，馮玉祥因幾麵受敵，準備下令國民軍放棄京津，向西北退卻。鹿鍾麟從北京撤退前，曾計劃武裝劫持段祺瑞。但段祺瑞門生故舊滿天下，鹿鍾麟的行動還沒開始，消息就走漏了出去。4月9日，段祺瑞接到曾毓雋的條子，上麵寫著：“今夜鹿鍾麟恐有舉動，要發生事變。”
接著，段祺瑞的侄子段宏綱也從鹿鍾麟手下的一位師長那裏得到消息。大家都感到事情不妙，勸段祺瑞離家躲避。段祺瑞大發雷霆：“鹿鍾麟他敢！他敢這樣胡鬧嗎！我不走，來就同他打！”
晚上10時許，段宏綱打電話給國務總理賈德耀，發現電話線已被切斷。事情緊迫，段祺瑞於是離家去東四八條胡同他的副官崔子良家中躲避。
國民軍撤出北京後，局勢更加混亂。段祺瑞已經無能為力，於4月20通電下野，回到天津。
段祺瑞下野後，住在日租界須磨街魏宗翰的公館。段祺瑞生性不愛財，因而不斂財，沒有什麼家底，連合肥老家也無房產和地產，北京的公館還是當年袁世凱贈送給他的。
段祺瑞家規很嚴，夫人和姨太太都不準幹預公事。有一位姨太太想替一個老媽子的親戚謀個差使，段祺瑞立即氣歪了鼻子，厲聲喝道：“好啊！你們要賣官怎麼著？”合肥老家的人來京謀差使，他也不過招待他們住一段日子，四處玩，再給一些錢打發他們回去，胞弟段祺甫來京求大哥給找個官做，段祺瑞說：“你哪適合做官呢？給你一些錢，你還是回去做份買賣吧。”
為了節省開支，段祺瑞一改從不管家的習慣，親自過目每日的賬目。公館規模也縮小了，廚房裏隻剩八九個人，當差打雜的加上看門的，不過十來個人，原來太太小姐們每人屋裏三四個老媽子也壓縮到一兩個。
原配夫人過世後，段祺瑞娶了袁世凱的養女張氏為繼妻，此外，他還有五位姨太太。大姨太病死於1914年，三姨太、四姨太先後被遣回家。
1930年2月，馮玉祥和閻錫山聯合反蔣，日本人認為有機可乘，密謀策動“北洋派大同盟”，擁戴段祺瑞和吳佩孚為領袖，試圖在華北製造混亂。在特務頭子土肥原賢二的安排下，段祺瑞與溥儀在天津有過一次秘密會晤，但兩人都很不愉快。事後有人問及，段祺瑞生氣地說：“鄙人不才，忝為國家元首，這小子到今天還擺皇帝的臭架子，真是豈有此理！”
“九？一八”之後，日本扶持廢帝溥儀在東北建立了偽滿洲國，又企圖利用段祺瑞的威望和影響，建立華北偽政權，這一動向引起了蔣介石的不安。自北伐以後，蔣介石就極力籠絡段祺瑞。蔣介石還安排與段宏綱會晤，親切地對段宏綱說：“我亦是保定陸軍學堂學生，段先生是我的老師。我因公務繁忙，不能前往天津看望先生。”事後，蔣介石還派人送了兩萬元生活費給段祺瑞，以後又陸續送過幾次。
1933年1月19日，交通銀行董事長錢永銘受蔣介石之托，持蔣氏親筆信去見段祺瑞。蔣介石在信中懇請段祺瑞“南下頤養”，以便隨時請教。這時傳來日本要劫持段祺瑞的消息，段祺瑞於是決定接受蔣介石的邀請南下，他對錢永銘說：“我已老，不中用了，如介石認為我南下於國事有益，我可以隨時就道。”
1月21日淩晨，段祺瑞在吳光新、魏宗瀚、段宏綱的陪同下悄悄離開了天津。蔣介石對段祺瑞的到來十分重視，通令南京少將以上的軍人過江到浦口車站迎接，他本人也親往下關碼頭恭候。段祺瑞到達時，全副戎裝的蔣介石立即迎上前敬禮，然後攙扶他下船。當晚，蔣介石設宴招待段祺瑞，南京的軍政要員也都出席作陪。
1936年11月1日，段祺瑞因胃病又一次發作，出血不止，於次日晚在上海的醫院去世，時年72歲。11月5日舉行大殮，林森、居正、於右任、吳忠信、張治中均親臨吊唁。12月7日，移靈北京，暫厝西山臥佛寺後殿。1963年，移葬於香山附近萬安公墓。