接下來就該考慮組建政府的事情了。由於各地督軍一直推舉段祺瑞出來主政，張作霖不反對，於是段就在天津召開了特別會議，討論政府組建一事。在會上，張作霖拒不承認當初的約定，說什麼不進關的說法是個誤會，根本就是兩邊的人聽差了。同時還一並推翻了其他的承諾，諸如請孫中山來京主持政局，請段祺瑞主持軍務等，並且還提出必須對南方的參與直係勢力繼續用兵，以擴張奉係的勢力。段祺瑞可不想讓奉係徹底控製全國局勢，那他可就沒戲唱了，馮玉祥也堅持當初的和平立場。由於張作霖剛剛進入關內，還沒有站穩腳跟，不想過分得罪段祺瑞，以免自己無法收場。於是最終商定：奉軍沿津浦線進至德州為止，但不侵入浙江；國民軍沿京漢線向河南發展，但不進入湖北；允許吳佩孚和平下野，不下通緝令；召集全國善後會議，討論組織政府和一切善後問題。
由於南方各省督軍通電，在北京政府未成立之前，一切從北京發出的命令都不會承認，迫使這幾個人不得不坐下來馬上解決政府組成問題。馮玉祥一向比較傾向南方革命黨人的主張，希望新政府由委員製組成，孫中山、段祺瑞、張作霖、盧永祥、馮玉祥等人為委員，組成政府。沒想到剛一提出來就遭到段祺瑞、張作霖的齊聲反對。也難怪，張作霖剛剛大勝，怎麼可能找幾個實力與自己相差如此之遠的人來和自己平起平坐。段祺瑞則向來就是一個不願意別人對自己發令的人，他的反對早在意料之中。張作霖提出可以組建一個臨時執政府作為新政府產生前的過渡政府，不設國務總理，而由臨時執政召集國務會議，他推段祺瑞為臨時執政。馮玉祥認為在目前與奉張矛盾尖銳的情況下，還是需要爭取段祺瑞的支持以解決長期以來沒得到解決的地盤問題，而且段對他表現得很誠懇，言詞中以“革命政府”相標榜，所以，馮就同意了張的提議。
15日，張作霖、馮玉祥、盧永祥、胡景翼、孫嶽聯名通電，公推段祺瑞為中華民國臨時執政。四天後，齊燮元、蕭耀南、孫傳芳等直係各督軍再次電請段祺瑞早日出山。在一致擁戴聲中，段祺瑞於21日發出通電，宣告就任臨時執政。
22日，段祺瑞乘專車入京。23日，攝政內閣總理黃郛將新刻的“中華民國臨時執政”大小兩枚印交給段，並通電宣告攝政內閣於24日辭職。24日上午10點，段祺瑞在鐵獅子胡同原陸軍部舊址舉行臨時執政就職典禮，宣誓就職。
這是段祺瑞一生中最後一次進入權力中心。不過，這次的進入與之前有本質的不同，因為他不是依靠自己的力量，當然就沒有自己的發言權。馮玉祥、張作霖推舉他都有利用他作為過渡的意思，他的老部下們絕大多數都對他的這次上台持否定意見，紛紛勸說他不要上當。尤其是自己的忠實部下徐樹錚，遠在上海，仍然多次來電勸他不要蹚這渾水。他們都認為，將來總有一天張作霖和馮玉祥必定打起來，到時候段祺瑞夾在中間難以做人。就算一時打不起來，他段祺瑞也不過是個傀儡，不會有真正的實權。奉係勢力現在是一手遮天，張作霖都沒有坐上這個位置，老段怎麼可能坐穩了。
但是，這些勸說已經完全不起作用了。段祺瑞不是不明白自己的處境，也不是不明白部將們說的都是實話，但是他們卻不明白，段祺瑞在天津下野，苦等了這麼長時間，不就是為了重返權力的寶座嗎？現在希望就在眼前，怎麼可能輕易放過呢？即使再凶險，他段祺瑞也願意冒險搏一回，也許老天保佑就讓我翻身了也未可知啊！在這樣的心態下，段祺瑞還是決定接受上天的安排，宣誓就職。
就職的當天，他就公布了《中華民國臨時政府製》。規定“臨時執政總攬軍民政務，統率海陸軍”； “臨時執政對於外國為中華民國之代表”；“臨時政府由國務員讚襄臨時執政處理國務”； “臨時執政命國務員分長外交、內務、財政、陸軍、海軍，司法、教育、農商、交通各部”； “臨時執政召集國務員開國務會議”。
根據以上規定，段祺瑞這個臨時執政的權力比總統還大，更別說總理了。現在他的權限相當於過去的總統加總理。一心想在政壇上有所作為的段祺瑞，第一次感到了權力是那麼的美好。
接著，段祺瑞迅速任命了政府組成人員，當然，他能想起來的基本還是以前那些臭名在外的安福分子。龔以湛、吳光新、李思浩、葉恭綽、梁鴻誌等又一次因為段祺瑞進入了權力架構的中央，自此，段祺瑞正式開始了人生中最後一段時期的執政生涯。