公元220年春天，曹操得了頭風病，臥床不起，寢食不安，夜裏經常做怪夢，一做夢就看到那些被自己殺掉的人來到麵前，趕都趕不走，又驚又嚇，病情一天比一天沉重。大家建議請道士來作法事，驅逐鬼魂。曹操說：“聖人雲：‘獲罪於天，無所禱也。’我天天夢見鬼魂，這說明我的壽命已經到了盡頭了，作法事毫無用處，快為我準備後事吧！”又想了想道：“召曹洪、陳群、賈詡、司馬懿四人到我床前來，其餘的人暫且出去。”
不一會，曹洪、陳群、賈詡、司馬懿四人先後來到曹操的臥室中，曹操等四人到齊了後，對他們說：“你們四人是我的得力大臣，我一生東征西討三十多年，剿滅了許多割據勢力，現在隻剩下西蜀的劉備和江東的孫權兩股勢力，我已經不行了，這些事情隻有依賴你們去做。我今天請你們來，隻想請你們多多幫助長子曹丕繼承我的事業……”四人跪拜在地，一一磕頭領命。
曹操死後，曹丕繼承了魏王的稱號，將屬下文武大臣一一加封，司馬懿作為曹操的托孤大臣，自然也得到了封賞。曹丕向來與司馬懿交情很深，國家大事經常向司馬懿請教，司馬懿這時真正成了曹丕的得力助手。
這年的秋天，天下出了許多奇異的事情，在石邑縣（在今河北省境內）發現了鳳凰，在臨淄城（在今山東淄博市東北），有麒麟出現，在鄴（在今河北臨漳縣西南）郡出現了黃龍。按當時的說法：“龍、風、麒麟等物都是極其吉祥的動物，這些動物的出現，就預示著有一個新皇帝要登基了。”於是，曹丕手下的一大批文武官僚劉曄、華歆等人便商量要立曹丕為皇帝，廢除現在的漢獻帝。在曹丕的默許下，四十多名文武官僚集體麵見皇帝，要求廢掉漢朝的名稱，將帝號讓給魏王曹丕。漢獻帝起初死活不肯，被眾人軟硬兼施，考慮還是保命要緊，隻得發一道詔書，廢除自己漢朝皇帝的稱號，將帝位讓給曹丕。詔書一下，曹丕立即就要繼位。司馬懿對曹丕說：“不能這麼快就接受這份詔書！”曹丕問：“為什麼？”司馬懿說：“現在，名義上還是漢朝的天下，漢獻帝將帝位讓給您坐，這本是應該的事情，但天下的老百姓不知道內情，朝廷裏的一些舊臣也會不服氣的，他們會在外麵說是您逼著皇帝退位的，這樣輿論對您不利，今後也會帶來許多矛盾。”曹丕說：“那該怎麼辦才好？”司馬懿說：“從曆史上說，堯將帝位讓給舜，是讓了三次的，並且還築了一個土台，在台上舉行了隆重的讓位儀式。這表現出是他誠心將帝位讓給別人的，而不是被人強迫著這麼做的。今天，您也該模仿古人，先將漢帝的詔書和玉璽退回去，再寫一份推辭的信，表明自己不想當這個皇帝。我們再派人將這套儀式告訴皇帝。皇帝再下詔書，不允許您推辭，說明是為國家大事考慮，才將帝位傳給您的；您不為自己想，但要為天下的老百姓想，必須接受皇帝的位子。這樣做，既符合古代聖明君主的體製，又表明了皇帝讓位的誠心，才能使天下人心服口服。”
曹丕本來就很信任司馬懿，現在聽了司馬懿這一番分析，覺得非常有道理而且非常穩妥，不禁對司馬懿大加稱讚，立即照司馬懿的計劃辦理。經過幾次推讓，曹丕終於穩穩當當地當上了魏國皇帝。
曹丕當了皇帝後，更把司馬懿當作最得力的大臣，任命為尚書，又提升為禦史中丞，加封為安國鄉侯，第二年又升為尚書右仆射。兩年後，曹丕南巡，命司馬懿坐鎮首都，改封司馬懿為向鄉侯，轉為撫軍，總領軍事，又加封為給事中，行使宰相的權力。司馬懿推辭說：“我為您盡職盡責，這是我的分內事，您給我這麼優厚的待遇，反而使我內心不安。”曹丕說：“你助我治理國家，忠誠不二，我給你加封，隻是要你多為我分憂，多為國家做點事情，你一定要不辭勞苦地多做事情。如果你不願接受封號，那就是怕負責任，請你不要再推辭了！”司馬懿隻得表示感謝皇帝的寵愛，接受了曹丕的加封。曹丕又說：“你是我父親托孤的重臣，又是我的得力助手。今後，我如果出巡，你就留守；我如果向東，你就鎮守西方；我如果向西，你就為我鎮守東方，請千萬記在心上！”