青龍二年（公元234年）二月，蜀相諸葛亮率軍十萬出斜穀伐魏。四月，諸葛亮至郿縣，進駐渭水之南。司馬懿率軍渡渭水，背水築壘阻擊。諸將想在渭北與諸葛亮隔水相持，司馬懿說：“百姓積聚的糧秣財物都在渭南，這是必爭之地。”遂渡渭水背水紮營。
當時，司馬懿屯兵渭南，魏將郭淮估計諸葛亮一定會爭奪北原，主張先去占領北原，但是很多人均不以為然。司馬懿認為郭淮說的很有道理，便讓其屯兵北原。不久，諸葛亮率大軍西行，諸將都認為諸葛亮想攻西圍。郭淮則認為諸葛亮不過是虛張聲勢要讓魏軍大舉回應，而他的目標是陽遂。夜裏，蜀軍果然進攻陽遂，因城中早有防備，諸葛亮沒能成功。
八月，司馬懿以“堅壁拒守，以逸待勞”的指示，與諸葛亮相持百餘日。諸葛亮數次挑戰，司馬懿均堅壁不出，以待其變。諸葛亮便派人給司馬懿送去婦人的服裝，欲激司馬懿出戰，司馬懿仍不出戰。為平息部屬不滿情緒，司馬懿故意裝作被激怒，上表請戰。曹叡不許，並派骨鯁之臣辛毗杖節來做司馬懿的軍師，以節製他的行動。諸葛亮一來挑戰，司馬懿就要帶兵出擊，辛毗杖節立於軍門，司馬懿便不出兵。蜀將薑維就對諸葛亮說：“辛毗杖節而至，司馬懿不會出戰了。”諸葛亮則說：“彼本無戰情，所以固請戰者，以示武於其眾耳。將在軍，君命有所不受，苟能製吾，豈千裏而請戰邪！”於是便分兵屯田，做長久屯駐之準備。司馬懿的三弟司馬孚也來信問前線軍情，司馬懿回信說：“亮誌大而不見機，多謀而少決，好兵而無權，雖提卒十萬，已墮吾畫中，破之必矣。”
不久，諸葛亮遣使求戰，司馬懿不談軍事，問使者：“諸葛公起居飲食如何，一頓能吃多少米？”使者說：“三四升。”然後對問政事，使者說：“打二十軍棍以上的處罰，都是諸葛公自己閱批。”經過一番不經意的詢問，司馬懿對人說：“諸葛亮將要死了。”果然，諸葛亮於當月病故於五丈原軍中。蜀將秘不發喪，整軍後退。當地百姓跑來報告，司馬懿派兵追擊，蜀將楊儀返旗鳴鼓，做出回擊的樣子，司馬懿以‘窮寇莫追’收軍退回。當時有人傳：“死諸葛走生仲達”，司馬懿聽到笑說：“這是因為我長於預測活人的事，不長於預測人的生死啊。”次日，司馬懿到諸葛亮營壘巡視，並讚諸葛亮“天下奇才也”。
諸葛亮病故後，曆時七年的諸葛亮北伐至此結束。司馬懿想乘機攻蜀，結果魏明帝未準，隻得作罷。
此後，司馬懿亦累立功勳，其中值得一提的便是魏滅燕之戰！
東漢末年軍閥混戰時，公孫度據有遼東。這個割據勢力對曹魏一直時叛時降，保持著半獨立的地位。公孫淵繼為遼東太守後，對魏更加不遜。魏明帝震怒，派荊州刺史毌丘儉出任幽州刺史，時遼水大漲，毌丘儉不利而還。毌丘儉討伐受阻，使公孫淵更加得意。景初元年（公元237年），原魏遼東太守公孫淵背叛魏國，自立為燕王，置列百官，定都襄平。公孫淵遣使南通孫權，封拜邊民，誘呼鮮卑，侵擾北方。
景初二年（公元238年）正月，司馬懿率牛金、胡遵等步騎四萬，從京師出發，經孤竹，越碣石，六月，進至遼水。公孫淵急令大將軍卑衍、楊祚等人率步騎數萬，依遼水圍塹二十餘裏，堅壁高壘，阻擊魏軍。司馬懿采用聲東擊西之計，先在南線多張旗幟，佯攻圍塹，吸引敵軍主力，而以主力隱蔽渡過遼水，逼進敵軍的襄平本營，部將不解問其原因。司馬懿說：“敵人堅營高壘，就是想讓我們兵疲糧盡，若攻城，正中其計。古人曰，敵雖高壘，不得不與我戰者，攻其所必救也。現在他們大軍在此，老巢卻空。我直指襄平，敵軍必懼，懼而求戰，破之必矣”。接著整頓陣列前進，敵軍果然出來截擊。司馬懿對諸將說：“我之所以不攻其營，正是要等現在的局麵。”於是指揮魏軍痛擊，三戰皆捷，遂乘勝進圍襄平。
當初公孫淵聞魏軍來攻，求救於孫權，孫權也出兵為其聲援，並給公孫淵寫信：“司馬懿善用兵所向無前，深深為賢弟感到擔憂啊。”適逢連降大雨，遼水暴漲，平地數尺，魏軍恐懼，諸將思欲遷營。司馬懿下令有敢言遷營者斬，都督令史張靜違令被斬，軍心始安。
兩軍相持月餘，雨停，水漸退去。魏軍完成對襄平的包圍，晝夜強攻。城內糧盡，死者甚多，公孫淵部將楊祚等降。八月，公孫淵派相國王建、禦史大夫柳甫請求解圍，司馬懿斬殺使者，發布檄文嚴責。公孫淵又派侍中衛演來請求定日期送人質，司馬懿拒絕人質。公孫淵欲從城南突圍，司馬懿縱兵擊破其軍，公孫淵戰死在梁水邊上。入城後，司馬懿下令屠殺十五歲以上男子七千多人，收集屍體，築造京觀。而後他又把公孫淵所任公卿以下一律斬首，殺死將軍畢盛等二千多人，收編百姓四萬戶，曹魏數十年來遼東問題終於徹底解決。
自魏文帝曹丕開始，司馬懿雖然逐漸被委以重任，然而曹魏宗室之人甚至是曹丕、曹叡實際上對其也很是提防；尤其是魏明帝曹叡去世之後，掌權的曹氏親貴曹爽任用何晏、鄧颺、丁謐等人，依仗手中的兵權專擅朝政，屢改製度。司馬懿屢遭曹爽及其朋黨排擠，遂偽裝生病，不問政事。