大日本帝国憲法制定前はその位置づけが未だ充分ではない点もあったが、憲法制定後は、軍事大権については憲法上内閣から独立し、直接天皇の統帥権に属するものとされた。したがって、全日本軍の最高司令官は大元帥たる天皇ただ一人であり、陸軍については陸軍大臣が軍政を、参謀総長が軍令を、教育総監が教育をそれぞれ掌った。
陸軍大臣・参謀総長・教育総監は、天皇を除く大日本帝国陸軍の最高位にあり陸軍三長官と呼ばれ、三長官の補佐機関として陸軍省・参謀本部・教育総監部の三つの官衙が設けられていた。陸軍軍旗歩兵聯隊軍旗
帝国陸軍の起源は、明治維新後の明治4年（1871年）に、薩摩・長州・土佐から徴集され組織された天皇直属の「御親兵」である（正式に陸軍省が発足するのは明治5年（1872年）2月の兵部省改組による）。この兵力を背景にして廃藩置県を断行した。御親兵はその後「近衛」と改称された。その時点では士族が将兵の中心であったが、陸軍としては徴兵制による軍備を目標としていた。
この創成期の帝国陸軍建軍では大村益次郎が兵部省兵部大輔として主に兵制の基礎を構築し、士族による軍制から徴兵制度による国民兵制への移行を目指した。不幸にして大村が暗殺されると、その後を山縣有朋が承継して明治7年（1874年）1月に徴兵令を発布し同年4月に東京鎮台に初の徴兵による兵卒が入営した。
しかし、近衛は徴兵制を武士を冒涜するものと不満を募らせ、征韓論による西郷隆盛の下野を機に将校兵卒が大量に辞職した。当初は専ら国内の治安維持、叛乱勢力の鎮圧（佐賀の乱、神風連の乱、西南戦争ほか）などを担った。当初、兵部省は明治4年（1871年）に東京・大阪の2個鎮台を置き、遅れて鎮西鎮台、東北鎮台を設置した。
陸軍省と改まった2年後の明治6年（1873年）には全国を6個の軍管区（東京・仙台・名古屋・大阪・広島・熊本）に分けて、それぞれに1個ずつの鎮台を置き、反乱士族の鎮圧などに当った。明治21年（1888年）に6個鎮台はそのまま師団に改変されて第1ないし第6師団が置かれ、近衛は近衛師団となり禁闕守護を任務とすることとなった。
明治7年（1874年）の台湾出兵以降、徐々に外征軍としての性格を色濃くするようになり、明治21年（1888年）には、拠点守備の側面の強い鎮台制から、後方支援部隊を組み込んで機動性の高い師団制への改組を行った。
明治27年（1894年）の日清戦争開戦時には、常設師団は7個であったが、日清戦争後の明治31年（1898年）に常設師団6個師団（第7ないし第12師団）が増設された。日露戦争では全ての師団が戦地に派遣されたため、内地に残留する師団がなくなってしまった。そこで、日露戦争中の明治38年（1905年）4月に4個師団（第13師団ほか）が新編された。国運を賭して行われた日露戦争の奉天会戦における勝利を記念して陸軍記念日が制定された。
日韓併合後は、旧大韓帝国軍人を朝鮮軍人として編入した。また、日韓併合後は朝鮮半島防衛のため2個師団を交代で朝鮮半島に派遣していたが、辛亥革命後の中華民国の混乱から警備強化の必要性が高まり上原勇作陸相は2個師団の増設を西園寺公望首相に求め、その混乱から西園寺内閣は結果的に倒れることとなる。その後、陸軍省の要求が通り、大正4年（1915年）に朝鮮半島に衛戍する2個師団（南部に第19・北部に第20師団）が編成されることに決まった。
その後、世界的な軍縮の流れに従って山梨半造陸相及び宇垣一成陸相の下で3次にわたる軍縮（山梨軍縮及び宇垣軍縮）が行われて、4個師団（第13師団・第15師団・第17師団・第18師団）が廃止され、平時兵力の3分の1が削減された。
宇垣軍縮では、同時に陸軍の近代化を目指しており航空兵科が新設されるなどしたほか、平時定員を減らしつつ有事における動員兵員数を確保するため、学校教練制度を創設して中学校等以上の学校に陸軍現役将校を配属することとした。
昭和期には統帥権の独立を掲げ、政府の統制を逸脱して独断専行の行動が顕著になる。また二・二六事件以降の「軍部大臣現役武官制」を盾に倒閣を繰り返すなど政局混乱の原因をつくり、日中戦争から太平洋戦争に至る無謀な戦争へと突き進んだとの批判を受けることが多い。
