東漢建安六年(公元201年)，司馬懿在河內郡被舉為上計掾。此時他年僅二十三歲，但由於家世和個人才能，已經在社會上有了比較高的聲譽。當時梟雄曹操在漢獻帝朝廷中擔任司空，在政治、軍事上都才剛剛起家，極需網羅人才為其效力。他聽說司馬懿是個幹才，足智多謀，很想請他出山，授以要職。但司馬懿對此時的曹操並未看重，認為漢室衰微，群雄割據，出身閹豎之家的曹操是否能成氣候，還是個未知數，所以不願過早地將自己的命運交付給曹氏，而是等待觀望，看準可投之主。這是他在複雜形勢下采取的謀策。
為了不開罪於曹操而招致殺身之禍，司馬懿使出蒙蔽手段，推辭身患風痹，不能起居。曹操亦是老謀深算之輩，對司馬懿借病推辭，心存疑竇，並認為司馬懿此舉是對自己看不起，所以秘密派刺客假裝行刺，以探察司馬懿生病的真情。當夜深人靜之際，刺客偷偷潛入司馬懿的內房，手持利劍，裝出要向躺在床上一動不動的司馬懿刺去的姿勢。機警的司馬懿很快覺察到這是曹操派來察知真情的探子，因而他仍然直挺挺地躺著，根本不加反抗和抵擋，刺客認定司馬懿真的患上嚴重的風痹病，所以慌忙收起利劍，回去向曹操如實稟報。曹操一時被蒙騙過去，而司馬懿得以逃避了曹操的第一次征用。
建安十三年(公元208年)，曹操擔任了獻帝的丞相，他四處物色賢士，又決定延請司馬懿為文學援，並嚴厲地對使者說：“如果司馬懿還是推三阻四，再耍花招，就把他綁來見我！”司馬懿沒有別的辦法，隻好硬著頭皮前去就職，其實這時司馬懿也隻是權宜之計。因為此時曹氏己今非昔比，獨攬漢室大權已成事實，逐鹿中原，穩操勝券，中原許多大族名士均已投靠曹操，視其為實際君主，輿論普遍認曹氏代漢隻是時間問題了。
曹操對司馬懿的應召固然十分高興，但他一向認為此人非同尋常，為人城府很深，不容易探知其內心活動，所以對他既使用，又疑忌。司馬懿雖然謹慎小心，處處留意，但其“內忌而外寬、猜忌多權謀”的特點仍為曹操所了解。司馬懿與曹丕相處很好，深得曹丕器重，與陳群、吳質、朱鑠起合稱為曹丕的“四友”。這種親密關係也使曹操不很高興，曹操又聽人說，司馬懿有“狼顧之相”，他親自驗證，果然，司馬懿“麵正向後而身不動”。通常人回頭看東西，不僅頭要轉過去，身子也應隨之側過去，而司馬懿卻能做到往後看身子一動不動。司馬懿的“狼顧之相”是其為人機警靈活而多疑忌所形成的習慣動作，但這一點卻使曹操更增加了對他的厭惡之情。一天晚上，曹操又夢見三匹馬共食一槽，“槽”與“曹”同音，曹操遂產生了“馬”吃“曹”的聯想，認為司馬氏終有一天會侵蝕曹氏的權柄，心裏十分不快。第二天，他對曹丕說：“司馬懿終將不會甘居人下，將來必會幹預你們兄弟的大事。”但曹丕對其父的忠告不以為意，總覺得是曹操太多慮了，他因與司馬懿關係不錯，所以還多方麵保護司馬懿不受迫害。
司馬懿對自己的處境也很清楚，為了消除曹操的猜疑，他表麵上對權勢地位無所用心，隻是勤勤懇懇、恪盡職守，埋頭於日常公務，為人也很注意謙恭抑損，逐漸淡化了曹操的敵視態度。曹丕即位後，雖然他與曹丕關係不錯，得到曹丕的重用，地位日益顯赫，但他的防範心理並不因此懈怠。在征遼東公孫淵凱旋而歸時，一些兵士因天氣寒冷，乞求司馬懿賞給糯衣，這本來不算過分的要求，但他卻未答應。當別人對此表示不解時，他表白自己，說是不能讓皇帝認為他是用國庫的衣物為自己收買人心。可見他的謀術十分精細。
二十餘年後，到了魏明帝曹睿的兒子曹芳登位時，司馬懿已官至太尉，與宗室曹爽同為顧命大臣，輔助齊王曹芳，二人實際共同掌握了曹魏的軍政大權。他倆各領精兵三千餘人，輪番在殿中值班。曹爽雖為宗室皇族，但資曆、聲望、經驗、才幹均遠不如司馬懿，所以曹爽開始還不得不倚重司馬懿，對他以長輩相待，引身卑下，每事必問，不敢獨斷專行，二人關係還算和睦。當時曹爽門下有賓客五百人，其中畢軌、何晏、鄧揚、丁謐等常在曹爽周圍，為他出謀劃策。他們不斷向曹爽進言，認為司馬懿有一定野心，而且在社會上有很高聲望，對皇室是潛在的威脅，不可對他推誠信任。曹爽遂於景初三年(公元239年)二月，使魏帝下詔，表麵推崇司馬懿，說他德高望重，理應位至極品，因而從太慰升太傅。這一明升暗降的辦法，使司馬懿的兵權被剝奪，實際權勢被架空。以後尚書奏事，均先經過曹爽，大權遂為其所獨攬。緊接著，曹爽又將其三個弟弟和自己的心腹都安排在比較重要的崗位，執掌實權，朝中要職，全為曹爽之黨控製，一時曹爽權傾朝野，滿門稱賀。