曹操進封魏王後，升任司馬懿為太子中庶子，佐助曹丕。時司馬懿“每與大謀，輒有奇策”，為曹丕所信任和重用，所以關係一直很好。司馬懿還與陳群、吳質、朱鑠並稱四友。此後，司馬懿更是常謀國事，多出奇策。不久，司馬懿轉為丞相軍司馬。他指出荊州刺史胡修粗暴，南鄉(治南鄉，今河南淅川東南)太守傅方驕奢，都不應駐守邊防，曹操未予重視。
同年六月，劉備繼取漢中後，派孟達、劉封攻占漢中郡東部的房陵、上庸等地，勢力有所擴展。七月，孫權欲攻合肥，魏軍大部調動淮南防備吳軍。鎮守荊州的蜀前將軍關羽，乘此機會，留南郡(治江陵，今湖北江陵)太守糜芳守江陵，將軍傅士仁守公安(今湖北公安西北)，自率主力北攻荊襄(魏荊州治新野，今河南新野；襄陽郡治襄陽，今湖北襄樊)。圍魏將曹仁，水淹於禁七軍，斬龐德。時樊城守軍僅數千人，城牆因水淹多處崩塌，曹仁曾考慮放棄樊城，被輔助曹仁的汝南太守滿寵所勸止。曹仁決心奮勇抵禦。胡、傅二人果然乘機降蜀。此時，陸渾(今河南嵩縣東北)人孫狼等，亦殺官起兵，響應關羽。關羽聲勢一時“威震華夏”
當時都城在許昌，距樊城很近，曹操感到威脅，為避關羽鋒芒，一度準備遷都河北。司馬懿和曹椽蔣濟及時勸阻：“禁等為水所沒，非戰守之所失，於國家大計未有所損，而便遷都，既示敵以弱，又淮沔之人大不安矣。孫權、劉備，外親內疏，羽之得意，權所不願也。可喻權所，令掎其後，則樊圍自解”。曹操從其計，孫權果然派呂蒙襲取江陵，關羽被其俘殺。。
此戰的勝利，曹操利用孫、劉爭奪荊州的矛盾，充分運用外交謀略，坐收漁利，不僅挫敗關羽的強大攻勢，解除了樊城之圍，而且也使諸葛亮原定的一路向宛洛、一路出秦川的兩麵鉗擊中原的計劃無法實現。更重要的是破壞孫、劉聯盟，改變了當時的戰略格局，掌握了主動權。
徐晃擊退關羽後，曹操嫌惡荊州及附近百姓，想把他們都遷走。司馬懿認為：“荊楚輕脫，易動難安。關羽新破，諸為惡者藏竄觀望。今徙其善者，既傷其意，將令去者不敢複還”。曹操從之，沒有移民。藏竄逃亡者果然都複出歸化。
延康元年(220年)，曹操去世，朝野危懼，司馬懿管理喪葬諸事，內外肅然。
同年，曹丕即魏王位，司馬懿受封河津亭侯，轉丞相長史。
時孫權率軍向西。朝臣認為樊城、襄陽缺乏糧，不能抵禦吳軍，請召守將曹仁回駐宛城。司馬懿則認為不該放棄二城：“孫權新破關羽，此其欲自結之時也，必不敢為患。襄陽水陸之衝，禦寇要害，不可棄也”。曹丕未依其言，命曹仁放火燒毀二城。後來孫權果然沒有入侵。曹丕悔之不及。
同年，曹丕登皇帝位，史稱魏文帝。由於司馬懿為曹丕“篡漢”出了大力，所以登基後，曹丕任命司馬懿為尚書，不久轉督軍、禦史中丞，封安國鄉侯。
黃初二年(221年)，免去督軍官職，升任侍中、尚書右仆射。
黃初三年(222年)，和黃初五年(224年)，曹丕兩次伐吳，都以司馬懿鎮守許昌，並改封司馬懿為向鄉侯。黃初六年(225年)春二月，轉任撫軍大將軍、假節，領兵五千，加給事中、錄尚書事。司馬懿辭讓，曹丕說：“吾於庶事，以夜繼晝，無須臾寧息。此非以為榮，乃分憂耳”。
同年，曹丕又大興水軍攻吳，仍命司馬懿留守，“內鎮百姓，外供軍資”。臨行，下詔書給司馬懿說：“吾深以後事為念，故以委卿。曹參雖有戰功，而蕭何為重。使吾無西顧之憂，不亦可乎”！後曹丕由廣陵回師洛陽，又下詔對司馬懿說：“吾東，撫軍當總西事；吾西，撫軍當總東事”。於是司馬懿留鎮許昌。”。
（）