維新後の明治2年（1869年）、渡欧して普仏戦争などを視察。明治3年（1870年）から6年（1873年）の間はジュネーヴに留学した。留学時、ロシアの革命運動家レフ・メーチニコフと知り合う。メーチニコフは後に東京外国語学校に教師として赴任したが、これは大山の影響によるといわれる。
西南戦争

西南戦争をはじめ、相次ぐ士族反乱を鎮圧した。西南戦争では政府軍の指揮官（攻城砲隊司令官）として、城山に立て籠もった親戚筋の西郷隆盛を相手に戦ったが、大山はこのことを生涯気にして、二度と鹿児島に帰ることはなかった。ただし西郷家とは生涯にわたって親しく、特に西郷従道とは親戚以上の盟友関係にあった。明治13年（1880年）には陸軍卿となり[3]、第1次伊藤内閣において最初の陸軍大臣となった。

1884年2月16日、陸軍卿として、川上操六・桂太郎2大佐らを従え、欧州兵制視察のために横浜を出発し、1885年1月25日、帰国した。
日清日露戦争日露戦争中、満洲で

日清戦争（1894年 - 1895年）直前には右目を失明していたという記録が残っているが、日清戦争では陸軍大将として第2軍司令官となった。明治32年（1899年）5月16日には参謀総長に就任し、元帥に列せられた[3]。

1903年6月22日、参謀総長として朝鮮問題解決に関する意見書を内閣に提出した。日露戦争（1904年-1905年）では元帥陸軍大将として満州軍総司令官を務め（1904年6月20日）、日清日露ともに日本の勝利に大きく貢献した。同郷の東郷平八郎と並んで「陸の大山、海の東郷」と言われた。ドイツライプチヒの新聞は、ニコライ2世 (ロシア皇帝)が「猿のような」と評した日本人が単独で大国ロシアに勝てるとは考えられないとして、大山は長年ロシアに苦しめられてきたフィンランド人であると報道した[4]。
元老

大山は陸軍を代表する存在であり、最重要の重臣である元老のメンバーとしても活動した。ただし、大山は陸軍内の意向に従う傾向があり、黒田清隆・西郷従道没後は会議内のバランスをとるためしばらく元老会議のメンバーから外されている[5]。大正4年（1915年）4月23日には内大臣となり[6]、宮中入りした。
薨去

大正5年（1916年）、大正天皇に供奉し、福岡県で行われた陸軍特別大演習を参観した帰途に、胃病から倒れ、胆嚢炎を併発。療養中の12月10日に内大臣在任のまま薨去。享年75。病床についてから死ぬ間際まで、永井建子作曲の『雪の進軍』を聞いていたと伝えられている。本人は大変この曲を気に入っていたという。

臨終の枕元には山縣有朋、川村景明、寺内正毅、黒木為��などが一堂に顔を揃え、まるで元帥府が大山家に引っ越してきたようだったという。大山の死は夏目漱石の死の翌日のことだった。新聞の多くは文豪の死を悼んで多くの紙面を彼に割いたため、明くる日の大山の訃報は他の元老の訃報とは比較にならないほど地味なものだったが、それが大山と他の元老たちの違いを改めて印象づけた。12月17日の国葬では、参列する駐日ロシア大使とは別にロシア大使館付武官のヤホントフ少将が直に大山家を訪れ、「全ロシア陸軍を代表して」弔詞を述べ、ひときわ目立つ花輪を自ら霊前に供えた。かつての敵国の軍人からのこのような丁重な弔意を受けたのは、この大山と後の東郷平八郎の2人だけだった。

那須に葬られた。墓所は栃木県那須塩原市。遺品は陸上自衛隊宇都宮駐屯地に多数収蔵され、資料館に展示されている。
栄典
位階


明治4年4月25日 - 正六位[7]

1875年（明治8年）2月24日 - 正五位[7]

1879年（明治12年）12月16日 - 従四位[7]

1880年（明治13年）5月24日 - 正四位[7]

1884年（明治17年）12月27日 - 従三位[7]

1886年（明治19年）10月19日 - 従二位[7][8]

1895年（明治28年）12月20日 - 正二位[9]

1916年（大正5年）12月10日 - 従一位[10]

勲章等


1877年（明治10年）11月9日 - 勲二等旭日重光章[7]

1882年（明治15年）11月1日 - 勲一等旭日大綬章[7]

1884年（明治17年）7月7日 - 伯爵[7][11]

1889年（明治22年）11月25日 - 大日本帝国憲法発布記念章[7][12]

1890年（明治23年）1月21日 - 銀製黄綬褒章[13]

1895年（明治28年）

8月5日 - 旭日桐花大綬章・功二級金鵄勲章・侯爵[14]

11月18日 - 明治二十七八年従軍記章[15]


1898年（明治31年）1月20日 - 元帥[16]

1906年（明治39年）4月1日 - 功一級金鵄勲章、菊花章頸飾、明治三十七八年従軍記章[17]

1907年（明治40年）9月21日 - 公爵[18]

1915年（大正4年）11月10日 - 大礼記念章[19]

1916年（大正5年）

4月1日 - 金杯一組・大正三四年従軍記章[20]

12月11日 - 国葬[21]（葬儀執行：12月17日[22]）