その後、世界的な軍縮の流れに従って山梨半造陸相及び宇垣一成陸相の下で3次にわたる軍縮（山梨軍縮及び宇垣軍縮）が行われて、4個師団（第13師団・第15師団・第17師団・第18師団）が廃止され、平時兵力の3分の1が削減された。
宇垣軍縮では、同時に陸軍の近代化を目指しており航空兵科が新設されるなどしたほか、平時定員を減らしつつ有事における動員兵員数を確保するため、学校教練制度を創設して中学校等以上の学校に陸軍現役将校を配属することとした。
昭和期には統帥権の独立を掲げ、政府の統制を逸脱して独断専行の行動が顕著になる。また二・二六事件以降の「軍部大臣現役武官制」を盾に倒閣を繰り返すなど政局混乱の原因をつくり、日中戦争から太平洋戦争に至る無謀な戦争へと突き進んだとの批判を受けることが多い。ソ連を仮想敵国としてとらえて作戦計画を立案し、しばしば海軍と衝突した。満州事変、盧溝橋事件を経て中国大陸へ大量に派兵した。しかし、近代化が進んでいない中国軍との戦いではあまり問題とならなかったものの、ノモンハン事件の頃から他の列強と比較して陸軍の機械化の遅れが顕著となる。太平洋戦争が開戦した後も、歩兵の移動は相変わらず徒歩による行軍がほとんどであり、戦車の開発競争でも他の列強に大きく遅れをとってしまった。インパール作戦に代表されるように、兵站を軽視し、精神論に固執する傾向があった。そのため、戦闘による戦死者以上の餓死者を出す結果となった。
日中戦争の長期化・戦線の拡大に伴い師団の増設が相次ぎ、1937年（昭和12年）からは留守師団を元に百番台の特設師団が設けられるなどした（第101師団など）。また、1940年（昭和15年）8月から8個常設師団が満州帝国に永久駐屯することとなった。さらに、太平洋戦争（大東亜戦争）末期には本土決戦に備えて大量に急造の師団が増設された。規模が拡大したため、軍の上に方面軍や総軍が設けられるに至った。
太平洋戦争では歩兵部隊を主力に、戦車部隊や航空隊を南方に派遣したが、多くを失った。ポツダム宣言受諾後、戦闘行動を停止した各地の陸軍部隊は、それぞれその地区を管轄する連合国軍に降伏し、その管理下で復員業務に従事することとなった。
そして、陸軍省も第一復員省、復員庁に改組され、その後陸海軍の残務処理は厚生省、後に厚生労働省が担当することとなった。なお、陸地測量部は内務省地理調査所を経て国土地理院として、また陸軍病院については、軍医とともに国立病院（現・国立病院機構）へと移管され、国営医療機関として現在まで続いている。
海軍は、掃海業務を担当する航路啓開隊として一部が存続されたのに対して、陸軍は徹底的な解体が行われ、近衛師団も復員後に禁衛府皇宮衛士総隊として存続が図られるが、すぐに解体されてしまった。
帝国陸軍解体後に創設された警察予備隊の警察官には公職追放を受けた正規将校を除く、旧陸軍出身者も採用されたため、陸上自衛隊には、旧陸軍の習慣・伝統も一定度継受されている面はある（陸上自衛隊制式行進曲である陸軍分列行進曲（抜刀隊）や、愛馬進軍歌や空の神兵といった当時の軍歌軍楽等）。
しかし、創設時の風潮であった陸軍悪玉論や陸軍の復古を懸念したアメリカ軍側の圧力もあり、公式には伝統の継承を断絶している。陸上自衛隊は、アメリカ陸軍の影響が強く、姿勢を正す際の手の握り等、旧陸軍と異なる服務、礼式を採用している。
ちなみに海上警備隊（後の警備隊、海上自衛隊）では、操艦に熟練が必要だったことから、海軍出身者を大量に採用した。
1878年（明治11年）8月に、精鋭である筈の近衛砲兵が反乱を起こすという竹橋事件が起こり、政府に衝撃を与えた。また、自由民権運動の影響を陸軍が受けることを防ぐために、軍人勅諭が出された。ここでは「忠節・礼儀・武勇・信義・質素」の徳目を掲げると共に、その中で政治不干渉を求めていた。
しかしながら、陸軍軍人の中核を占める陸軍士官は、陸軍省職員として官僚機構の側面も有しており、古くは薩摩藩・長州藩等出身の将校らとその他の藩又は幕府出身の将校らとの対立があったとされる。また、陸軍士官学校・陸軍大学校という近代的士官教育制度確立後は、兵科間であるとか、陸軍大学校を経たエリートたる中央幕僚（陸軍大学校卒業徽章が天保通宝に似ていることから天保銭組と俗称された）と隊付将校（無天組）との間であるとか、派閥間の思想又は人事上の対立（皇道派・統制派の対立）など、無数の内部的な抗争を生みやすい状況であった。
また、関東軍など、外地に所在する現地部隊が、中央の統制を充分に受けずに行動するなどの問題点も抱えていた。そのため、「スマートネイビー」を標榜とする海軍とは、偏った陸軍悪玉海軍善玉論等に影響され対照的にイメージされやすく、日本陸軍に対する悪い印象は一般的である。