如今徐世昌答應出山的時間到了，袁世凱已經做了很多，徐世昌該出山了，可他還是呆在青島不動。袁世凱一點都不惱，也不著急。因為他知道，徐世昌是個讀書人，好麵子，要想讓他出山，光等不行，非請不可。
袁世凱便托了許多昔日的老友出麵，一個個都往青島去，能托的人都托了，甚至連長子袁克定也派去青島勸說。徐世昌是個凡事有分寸的人，何況他又不是真心不想做官。袁世凱做到這一步，已是仁至義盡。盛情難卻，徐世昌終於答應進京輔助袁世凱。
徐世昌帶著全家，離開青島，前往北京，在途徑天津時，昔日的同鄉老友華世奎熱情地招待了徐世昌，席間卻又禁不住質問徐世昌說：
“兩年以前，你在北京與我說，大清既亡，我心已死，這一輩子，也不再去聞官服的味了。這話我還猶在耳邊，怎麼你就忘了呢？”
徐世昌聽著，沉默半晌，並不吭聲，有身旁朋友替他分辨說：“做官有多種，有為自己，也有為國家民眾。徐大人此次出山，應該屬於後一種。”
華世奎聽了，再不言語，但從臉上的神情看，還是露出明顯的不以為然。類似這樣的責難，徐世昌一路聽到幾次，心裏頗有些不快，也有些壓力。到了北京，徐世昌沒有去見袁世凱，而是呆在家裏閉門不出。
有當時的著名記者黃遠庸，對徐世昌的出山曾報道說：“官僚派則固欲有利用徐氏者，有以今日政局非有總統信任之人為百揆之長，不易統一……他人當家，人有異言；徐氏當家則必唯命是聽……又如軍人派，即以向曾多受徐氏指揮之故，深望徐之複出……其他則積恨朋黨之把持者，謂非徐出則不足以掃清……更有一派新學家向曾受徐恩遇者，則深望徐之出以開新進之路……以此種種故，徐氏到京以來，勸駕者乃至門檻為穿。”
徐世昌清楚地看到：前清的同僚，此時大多窮途潦倒，這些人留戀往昔，對新的政權心存怨氣，自然反感他出山幫助袁世凱。至於民國冒出的各派，掌權人對他一麵是擁護，另一麵是寄予重望，而骨子裏則都是希望他出山後對他們有所幫助。
看明白了這些事，似乎自己出山除了遭人嫉恨就是讓人利用。既然如此，自己又何必出去找麻煩呢？徐世昌這麼一想，對於出掌國務卿一職的事，反倒是更加猶豫了。
袁世凱在總統府裏急了，派李鴻章的侄子、前清雲貴總督李經羲去徐世昌府上勸說。徐世昌見他說得懇切，於是也說了心裏話：“既然要我出來，就得讓大家都出來。譬如你這樣的舊臣，大家一起出來為新政權做事。”
李經羲聽了，高興得很，回去照實說給袁世凱聽。袁世凱心裏也正有此意，隻是一直以來沒有個適當的借口，這是借了請徐世昌出掌政事堂，又啟用了一批大清的舊臣。
到5月1日，袁世凱在得到徐世昌口頭應允之後，正式下達命令，任命徐世昌為國務卿。事情辦到這一步，徐世昌卻又寫了個辭呈，借口時艱責重，力絀難勝，呈請收回成命。他在辭呈中寫道：
“世昌夙承知遇，仍當以散員居留京寓，遇有所見，隨時獻納，仰備谘詢，庶得稍讚高深，以盡其一民之義務。”
袁世凱在辭呈上批複：“難進易退，此為君主時代屬於一姓一家者言之。若夫共和政體，天下為公，選賢與能，同服義務。但當學伊尹之任，不當學伯夷之清……已遣外交總長孫寶琦、陸軍總長段祺瑞，造廬勸駕，萬勿推辭。”
兩位相交了大半輩子的把兄弟，彼此心知肚明，心照不宣地表演了最後一回合。到此，禮數已盡，徐世昌終於走進了掌管一切軍國大事的政事堂，這位前清的相國，在閑居了兩年後，於1915年5月，搖身變成了北洋政府國務卿，北洋人還是稱呼他為“徐相國”。
對此，許多人認為是對他本人的一個諷刺。其實，在民國這種非常時代，是和平的改朝換代方式導致了這麼一種必然的結果。除了徐世昌這個國務卿，袁世凱這個大總統，後來北洋曆屆政府的首腦，差不多都曾在前清做過事。
在這方麵，徐世昌是有些特別，因為他有著清遜帝太傅太保的頭銜，是清亡時漢臣官位最高者。僅此而已。