對於曹丕的信任，司馬懿當然感激不盡，更加忠心耿耿地為國家盡力做事，表現出卓越的才能。
公元223年，劉備攻吳兵敗而死，蜀國內部新舊交替，人心不穩。曹丕聽說後，立即準備乘機發兵攻蜀，並聚集文武百官商議此事，有的說不能打，有的說能打，司馬懿大聲說：“機不可失，時不再來，應該乘機發兵！”曹丕見司馬懿也主張出兵，便問他可有什麼妙計。司馬懿說：“現在以我們的一國實力打西蜀難以取勝，可發五路大兵，四麵夾攻，諸葛亮縱然善於用兵，苦於首尾不能救應，也沒有辦法對付！”曹丕問：“請問是哪五路大兵？”司馬懿舉起手來，伸出手掌說：“第一路，派人去見鮮卑國國王，送他一份厚禮，讓他從遼西派羌兵十萬，從旱路由西平關入蜀；第二路，派使者到南蠻國，令蠻王孟獲，發蠻兵十萬，從西川南部進軍；第三路，派使者到東吳去，與孫權結盟，令孫權發兵十萬，從川東、川西峽穀口進攻，直取涪城（在今四川省三台西北部）；再令原西蜀降將孟達從上庸（在今湖北省竹山縣西南）發兵十萬，向漢中挺進；第五路，由大將軍曹真為都督，發兵十萬，向西川進攻。五路大軍共計五十萬人馬，諸葛亮本事再大也難以對付！”曹丕大喜，立即頒下詔書，令各自發兵。五路大軍發出，雖未取得什麼進展，倒確實使蜀國上下大為震驚。這次五路大軍的部署，充分展示了司馬懿的軍事才能。
公元229年，曹丕忽然得了風寒感冒。他這年才四十歲，正當壯年，起初不把感冒當回事，哪知道一天比一天嚴重，全身無力，竟然不能起床。他似乎已經感到活不下去了，無可奈何，準備安排後事。
曹丕傳詔：立即請中軍大將軍曹真、鎮軍大將軍陳群、撫軍大將軍司馬懿三人入宮，又把兒子曹睿叫到床前，等曹真、陳群、司馬懿三人來到之後，曹丕指著兒子曹睿說：“我的病已經非常沉重，是好不起來了，今天請你們三人進宮，就是把兒子托付給你們，我死以後，請你們三人盡力幫助他。”三人齊聲說：“您的病會好的，請不要想得太多！”曹丕說：“今年許昌城門無緣無故地崩塌了下來，這是不祥的兆頭。現在才知道，這是預示著我的壽命已經到頭了。”正在說著，征東大將軍曹休回來了，在宮外等候召見，曹丕讓他立即進來。曹丕對曹休說：“你來得正好，你與曹真、陳群、司馬懿四人都是國家的棟梁大臣，如能團結一心、輔助我的幼子曹睿，我死在地下，也能心安了！”又對曹睿說：“他們都是國家的老臣，你要加以重用，如果有人挑撥他們幾人的關係，造什麼謠言的話，千萬不要相信！”曹丕掙紮著說完話，含著眼淚死去。
曹丕一死，司馬懿等人一麵辦理喪事，一麵扶持曹睿當了皇帝。喪事完畢，曹睿分封大臣。他對曹丕托孤的幾人特別加封。司馬懿被封為驃騎大將軍，正好當時的雍州、涼州沒有守將，兩處又接近邊界，是個很重要的地方，司馬懿為表示忠誠，主動請求駐守涼州，曹睿同意司馬懿的請求，命他總管雍、涼二州的兵馬，封為舞陽侯。司馬懿謝恩後，率領兩個兒子立即赴雍、涼二州去上任。