南方要袁世凱退位，袁卻死抱著總統不放。段祺瑞撒手不管，北洋將領或主和或主戰，徐世昌這個不滿一個月的國務卿覺得夾在中間白白受氣，提出辭職。徐世昌辭職了，誰來接替他呢？
袁世凱想到的還是段祺瑞，段祺瑞在反對帝製時與西南方麵保持默契，與蔡鍔、梁啟超等也有聯係，交涉起來有利。退一步，若和談不成動用武力，段也是最佳人選。對於袁世凱的提議，段祺瑞也毫不客氣地提出一個先決條件：讓他做國務卿可以，但必須實行責任內閣製，即由段祺瑞掌握實權。
內外交困，袁世凱束手無策，隻得做出讓步。4月21日，他下達了恢複責任內閣的電令。4月22日，段祺瑞就任國務卿，開始大刀闊斧地幹起來。
首先，他撤政事堂改國務院，廢國務卿改國務總理，接著又提出裁撤統率辦事處、總統府機要局、軍政執法處三機關，並收容模範團、拱衛軍為陸軍部。袁世凱得知後，氣得渾身發抖，連連罵道：“段芝泉別有用心！別有用心！”
段祺瑞大權在握，主張和平解決，反對用兵，但西南方麵卻堅持和平解決的前提是袁世凱必須引退。段祺瑞也隻好拖著日子，袁世凱疑心又起。這時，蔡鍔、梁啟超又願推舉段為攝政取代總統，袁世凱對段祺瑞更加猜疑，在許多事情上暗中掣肘，袁、段兩人的衝突連連不斷。
段祺瑞提出徐樹錚任國務院秘書長，秘書長雖不是閣員，但卻是總理的直接助手，比閣員還重要，袁世凱卻主張由原政事堂機要局局長王式通擔任。段祺瑞當然不願身邊多一個袁世凱的心腹，於是托王士珍向袁世凱說項。王士珍老奸巨猾，表麵答應，其實根本不提，段祺瑞又讓張國淦和袁世凱說，袁世凱以總理是軍人，秘書長再弄個軍人不合適為由推辭。張國淦無可奈何，回去見段祺瑞，段祺瑞勃然變色，鼻子立時向左歪斜。
段祺瑞的和平方案沒有進展，袁世凱卻慫恿徐、皖、魯、奉、吉六將軍公開電請武力解決，不惜一戰，段祺瑞則堅決反對。袁世凱大怒道：“和又和不了，戰又不想戰，你到底想幹什麼？”
段祺瑞也毫不客氣地回答：“如果總統堅持用兵，那我隻有辭職。”
果真，段祺瑞立即遞上辭呈。袁世凱又氣又恨，索性撇開段祺瑞，親自出麵主持對西南的軍事行動。然而此時的袁世凱已是心有餘而力不足，坐鎮江寧的馮國璋態度曖昧，四川將軍陳宦、湖南將軍湯薌茗通電獨立。終於，58歲的袁世凱一病不起。
1916年6月5日，袁世凱病情陡然惡化。於夫人哭著告訴了張夫人，總統病危，急欲見段祺瑞一麵。段祺瑞火速趕到懷仁堂。
聽到段祺瑞來了，袁世凱睜開眼，微微點頭示意。段祺瑞彎下腰，壓低聲音問道：“總統，有何吩咐？”
袁世凱半晌不做聲，而後對段祺瑞說：“芝泉，今後一切都要靠你了。”
這是袁世凱對段祺瑞的臨終囑托，不知是希望段祺瑞照顧好袁家，還是主持大局，抑或兩者兼而有之。次日上午，袁世凱病逝。
人之將死，其言也善。段祺瑞對袁家完全拋棄了以前的怨恨，對袁世凱進行了隆重的國葬，表現了對袁的極大忠誠。
段祺瑞通令全國下半旗致哀，停止娛樂一天，學校停課一天，文武官吏停止宴會27天，在財政幾乎崩潰的情況下，撥銀幣5萬元作為喪葬費，成立恭辦喪禮處，內務總長王揖唐和周白齊等籌辦大喪典禮，段祺瑞率各部總長輪流守靈，河南巡按使負責營建袁氏之墓，占地近140畝，工程持續兩年才完成。
6月23日，段祺瑞以總理身份主持政府公祭，各國使節、文武大員盡數到場。靈車用的是當年運送慈禧太後棺柩的豪華膠輪車，並派近兩個團護送，段祺瑞親自扶樞送至前門車站。
1916年2月，段祺瑞和黎元洪因為對德問題再次產生尖銳的衝突，並導致了兩人之間的徹底決裂。
1917年2月3日，美國宣布與德國絕交，段祺瑞和黎元洪一致讚成對德宣戰。2月9日，內閣通過了對德國潛艇政策提出抗議的決定，這是中國對德國采取的第一個外交步驟。
3月3日，在段祺瑞的主持下，內閣會議又順利地通過了對德絕交案。次日，段祺瑞率全體閣員到總統府請黎元洪在對德絕交谘文上蓋印，黎元洪卻一反以前讚同的態度，拒絕蓋印。問題出在什麼地方？
是帝國主義在背後搗鬼！
黎元洪走的是親美路線，美國人對德絕交，他自然緊隨其上，而段祺瑞是親日派，美、日帝國主義都希望通過促使中國參戰而取得在中國的霸權。於是美國一旦發現了中國參戰對日本的好處遠大於己，馬上就改變主意，不再支持中國參戰。
段祺瑞氣勢洶洶，黎元洪卻以不變應萬變，支支吾吾加以拖延。
“這麼說，大總統是反對對德絕交了？”
“這個，我的意思是，此乃大事，需慎重考慮。再者，絕交是宣戰之先聲，如今各省軍人大多反對參戰。在做出決定之前，也應該統一軍界的意見吧？”