同年、孫権の謀略により、曹叡は皖・江陵・濡須東関の三方面のルートから大規模に侵攻した。曹休は呉軍に敗れ、数万の死者を出した。一方、司馬懿・張?率いる雍・涼大軍は朱然の守備する江陵を攻めるが、落とすことができず撤退した。

太和4年（230年）、大将軍に昇進した[7]。

太和5年（231年）、蜀漢に対する戦線の総司令であった曹真の死に伴い、司馬懿はその後任として張?・郭淮らを従え、諸葛亮と対戦した（祁山の戦い）。しかし積極的な攻撃は行わず、陣地に立てこもったままであった[14]。大軍が近くに到達しておきながら、包囲されている祁山の魏兵を救わないことに不満を持った張?らが司馬懿を非難したため、司馬懿は大いに悩んだが、状況を制しきれず、張?と共に出撃し、かえって大敗した[15]。またこの年、隴西地方は不作であり、緒戦で諸葛亮に麦を刈り取られたことも相俟って魏軍では兵糧が尽きていたが、郭淮が異民族に食料を供出させたため、なんとか飢えを凌いだ[16]。一方、蜀漢軍も長雨により食糧不足に悩まされており、持久戦の後に撤退を開始した。この際、司馬懿は張?に追撃させたが、伏兵に高所から弓矢を乱射され、張?は射殺された[17][注釈 3]。

青龍2年（234年）、諸葛亮が5度目の北伐を敢行した（五丈原の戦い）。この戦いで司馬懿は郭淮・辛?らと共に防衛に徹した。前哨戦となる陽遂の戦いでは、司馬懿は諸葛亮の北原を攻撃するかにみせかける陽動にのせられ、諸葛亮の狙いが陽遂ではなく北原と判断し、北原へと軍を進めてしまうものの、郭淮の活躍と武功水の増水で、諸葛亮の渡河攻撃は失敗した[19]。渭水、武功水を挟んで行われた攻防の後、五丈原にて司馬懿と諸葛亮は対峙を続けた[注釈 4]。諸葛亮は屯田を行って持久戦の構えをとったものの、ついに病死し、蜀漢軍は撤退した。蜀漢軍が退却したのち、司馬懿はその陣跡を見るや「諸葛亮は天下の奇才だ」と漏らした[21]。『漢晋春秋』によると、司馬懿は撤退する蜀漢軍に追撃をかけようとしたが、蜀漢軍が魏軍に再度攻撃する様子を示したので司馬懿は退却した。その事で人々は「死せる諸葛、生ける仲達を走らす」と言った。ある人がこの話を司馬懿に報告すると、司馬懿は「私は生者のする事は推し測れるが、死者のする事は推し測れない」と答えた[15]。

青龍3年（235年）、蜀漢の馬岱が攻め込んで来たが、配下の牛金に命じて撃退させた[7]。また、武都の?王の苻双[注釈 5]と強端を降伏させた。この年、司馬懿は三公の一つ太尉に就任し、魏の軍事面でのトップとなった[14]。
公孫淵の征討詳細は「遼隧の戦い」を参照

景初2年（238年）、遼東に拠っていた公孫淵が反乱を起こし、司馬懿は征討を命じられた。このとき曹叡が、公孫淵はどのような策を取るか司馬懿に尋ねると、司馬懿は「（公孫淵が）城を捨てて逃れるは上策、遼水に拠って我が大軍に抗するは次策、襄平に籠もるなら生捕りになるだけです」と答えた。その意を問われると「知恵者ならば、城を捨てることも有るでしょうが、公孫淵はそんな策を考えつける人物ではありません」と言い、往復に要する時間については「往路に100日、復路に100日、戦闘に100日、その他休養などに60日を当てるとして、1年もあれば十分でしょう」と答えた[24]。司馬懿は?丘倹、胡遵らとともに公孫淵討伐に出発した。司馬懿が遼東に到着したころ、遼東では長雨が続いていたため、遠征はさらに長引くおそれがあった。廷臣たちは遠征の中止を曹叡に訴えたが、曹叡は「司馬公は機に応じて戦略を立てることのできる人物だ。彼に任せておけば間違いはない」と言い、取り合わなかった。

魏の征討に対し、公孫淵は呉に援軍を求めた。孫権は使者を殺害しようとしたが、配下の羊?は恩を売った方が得策と進言した。そこで孫権は、「司馬公は用兵に優れ、自在に使うこと神の如しという。そんな人物を相手にせねばならないとは、あなたもお気の毒だ」と書簡を送りつつも、援軍を約束した[7]。司馬懿は野戦で公孫淵が派遣した軍勢を破り、公孫淵は籠城した。公孫淵軍は兵は多く、食料は少なかった。司馬懿はこれを想定しており「兵力が多く兵站の確保が難しいときにはある程度犠牲が出ようとも速戦でかたをつけるべきで、逆に兵力が少なく兵站が安定している場合には持久戦を行うのがよい」と語った。

司馬懿の思惑通り、公孫淵軍の食料は底をついた。公孫淵は使者を送り、人質を差し出して和議と助命を嘆願した。司馬懿はこれに対し、次のように弁じて拒絶した。「戦には五つの要点がある。戦意があるときに闘い、戦えなければ守り、守れなければ逃げる。あとは降るか死ぬかだ。お前は降伏しようともしなかったな。ならば死あるのみ。人質など無用である」[25]

公孫淵は子の公孫脩とともに数百騎の騎兵隊を率いて包囲を突破して逃亡したが、司馬懿は追撃して公孫淵親子を斬り殺した。城は陥落し、司馬懿は遼東の制圧に成功するが、その後の処置は苛烈を極めるものであった。中原の戦乱から避難してきた人々が大量に暮らしていた遼東は、いつまた反魏の温床になるかわからないということで、司馬懿は15歳以上の男子7000人余りを殺して京観を築き、さらに公孫淵の高官たち数千人も殺害したという[7]。司馬懿の残虐な戦後処理は後世において筆誅の対象となり、@media screen{.mw-parser-output .fix-domain{border-bottom:dashed 1px}}唐代に編纂された『晋書』では、「王朝の始祖たる人物が、徒に大量の血を流したことが、ひいては子々孫々に報いとなって降りかかったのだ」と批判された[要出典]。

呉は援軍を送ったものの、既に公孫淵父子が敗死した後だったとして、遼東で略奪して引き上げている。
権力闘争

景初3年（239年）、司馬懿が遼東から帰還する最中に曹叡は病に倒れた。この際、司馬懿に長安へ戻るよう勅書が伝えられたが、その後曹叡直筆の文書で都の洛陽に戻るよう伝えられた[26]。いまわの際に駆けつけた司馬懿に対し、曹叡は、曹真の長男曹爽と共に次代の帝曹芳の補佐を託した[7]。『漢晋春秋』によると、曹叡は当初曹宇を大将軍に任じ後事を託そうと考えていたが、劉放と孫資の2人の進言により彼を罷免し、曹爽と司馬懿の2人に後事を託すことになったという[27]。

権力独占を狙う曹爽の画策により、司馬懿は名誉職に近い、太子の教育係である太傅に転任させられた[28]。ただし、軍権はそのままで、依然として対蜀漢の最前線を任されていたため、曹爽が内政、司馬懿が軍事を分け合う形になった[注釈 6]。また、曹爽と同じく、剣履上殿（剣を帯び靴を履いたまま昇殿しても許される）・入朝不趨（謁見時に小走りに走らずともよい）・謁賛不名（皇帝に目通りする際は実名を避けてもらえる）の特権を与えられた。また、駐屯地の農業を振興し、大いに名声を高めた[28]。

当初は曹爽が年長の司馬懿を立てていたため、大きな混乱は見られなかった。正始2年（241年）、呉の朱然らが樊城を包囲すると、朱然を退けた（芍陂の役）。『晋書』宣帝紀および『三国志』斉王紀に引く干宝『晋紀』によれば、この戦いで司馬懿は自ら軽騎兵を指揮して救援に赴き、朱然を退けた[注釈 7]。

正始4年（243年）には呉の諸葛恪を撤退させた[7][注釈 8]。司馬懿は諸葛恪を攻撃しようとするが、孫権は占いに従って既に諸葛恪を別の戦地に移動させていた。孫権は自ら司馬懿を迎え撃ち、司馬懿は城を落とすことができず退却した[30]。

正始5年（244年）、曹爽は蜀漢出兵（興勢の役）の際、司馬昭を征蜀将軍として従軍させた[31]。司馬懿はこの出兵に賛同していなかった[7]。結果として出兵は成功せず、撤退時には多大な犠牲を強いられた。

曹爽一派は増長し、事あるごとに司馬懿と衝突するようになった。正始7年（246年）の呉の侵攻では、曹爽は逃げて来た住民を帰すよう主張した。司馬懿は反対したが聞き入れられなかった。司馬懿は部下に対し「大将軍（曹爽）の命令で」と告げて農民に帰還するよう命じさせ、怒った農民達は後に退去し、魏は民を失った[32]。呉の朱然の猛攻によって曹爽は1万人以上の兵を失い、惨敗を喫した（柤中の戦い）。

正始8年（247年）5月、司馬懿は病と称して政治から身を引いた。