その後、国際連盟空軍代表随員、1918年に陸軍飛行第2大隊長、1922年（大正11年）に初代陸軍省軍務局航空課長となり、陸軍航空隊育ての親と称される。

1924年（大正13年）から陸軍大臣をつとめた宇垣一成に重用され、1928年（昭和3年）には陸軍省軍務局長に就任。1931年（昭和6年）には宇垣を首班とする軍事政権樹立を図る三月事件に小磯國昭、二宮治重らとともに関与した。同年9月の満州事変勃発時には陸軍次官として「正当防衛」声明を発表している。

同年11月、荒木貞夫が陸相となり、いわゆる皇道派が陸軍内の実権を握ると、宇垣側近とみられた杉山は次官を更迭され、1932年（昭和7年）2月に久留米第12師団長に親補される。その後は皇道派、統制派の抗争が続くが、荒木の辞任、真崎甚三郎の教育総監更迭を契機に皇道派は勢いを失う。杉山は陸軍航空本部長を経て1934年（昭和7年）8月には参謀次長兼陸軍大学校校長に就任、省部中央に復帰した。1936年（昭和11年）の二・二六事件では青年将校らの要求を拒否し、反乱鎮圧を指揮した。事件後には教育総監、同年に陸軍大将となり、梅津美治郎、東條英機ら統制派中枢に担がれる形で陸軍の重鎮への道を歩む。

1937年（昭和12年）2月9日、第一師団司令部内の陸軍高等軍法会議法廷にて陸軍造兵廠疑獄の公判が始まり、杉山は裁判長として出廷していたが、当日の午後には林銑十郎内閣下の陸軍大臣への就任が決定。裁判長を退いた[6]。林が退陣すると後継候補の一人として杉山が取り沙汰されたが、元老西園寺公望は近衛を推した。第一次近衛内閣でも陸相留任。盧溝橋事件では強硬論を主張し、拡大派を支持。1938年（昭和13年）辞任。軍事参議官となり、同年12月北支那方面軍司令官となり山西省攻撃を指揮。

1939年（昭和14年）、靖国神社臨時大祭委員長。1940年（昭和15年）から1944年（昭和19年）まで参謀総長に就任し、太平洋戦争開戦の立案・指導にあたる。1943年（昭和18年）元帥。

1944年（昭和19年）2月のトラック島空襲を機とした東條英機首相兼陸相の参謀総長兼任の際には、山田乙三教育総監とともに統帥権独立を盾として抵抗するが、昭和天皇と木戸幸一内大臣に対する宮中工作をすませた東條に屈して辞任。しかし同年7月、サイパン失陥によって倒閣運動が勢いを増すと、東條は参謀総長を梅津美治郎に譲り内閣の延命を図る。杉山も山田に代り教育総監に回るが、結局東條は失脚。小磯國昭に組閣の大命が降下すると、小磯の陸軍への掣肘を抑えようとする梅津ら陸軍中枢の意向を受け、陸軍大臣に再任される。1945年（昭和20年）4月、鈴木貫太郎内閣が成立すると阿南惟幾に陸相を譲り、本土決戦に備えて設立された第1総軍司令官となったが、敗戦後の9月12日に司令部にて拳銃自決。享年66。
御詫言上書

杉山は盧溝橋事件時の陸相、太平洋戦争開戦時の参謀総長であり、敗戦責任について痛感することが大きく、8月15日の段階で「御詫言上書」と題する遺書（言上書）をしたためていた。そして、この遺書は自決後の9月13日、昭和天皇の上聞に達した。全文は以下のとおりである。御詫言上書大東亜戦争勃発以来三年八ヶ月有余、或は帷幄の幕僚長として、或は輔弼大臣として、皇軍の要職を辱ふし、忠勇なる将兵の奮闘、熱誠なる国民の尽忠に拘らず、小官の不敏不徳能く其の責を全うし得ず、遂に聖戦の目的を達し得ずして戦争終結の止むなきに至り、数百万の将兵を損し、巨億の国幣を費し、家を焼き、家財を失ふ、皇国開闢以来未だ嘗て見ざる難局に擠し、国体の護持亦容易ならざるものありて、痛く宸襟を悩まし奉り、恐惶恐懼為す所を知らず。