1900年（明治33年）、第2次山縣内閣は、陸軍省官制および海軍省官制を改正し、「大臣（大中将）」、「陸軍大臣及総務長官ニ任セラルルモノハ現役将官ヲ以テス」と定めた（附表、別表）[1]。これは、軍部を権力の淵源としていた藩閥勢力が、当時力を付けて来た議会・政党勢力の軍事費削減攻勢に対する処置として執ったものである。これ以後、大命降下[2]があっても、軍部が現役武官の中から大臣候補を挙げなければ組閣できず、辞職して代わりの候補を出さなければ内閣を維持することもできない。この規定によって、軍部の意向を抜きに組閣し、内閣を維持することは難しくなった。
第2次西園寺内閣のとき、困窮を極めた国家財政再建を理由に、西園寺首相が陸軍からの「2個師団増設」の要求を渋った。このとき、上原勇作陸軍大臣が、単独で天皇に辞表を提出し、大臣職を辞してしまった。陸軍は後任の候補を出さず、軍部大臣現役武官制があるために、第2次西園寺内閣は陸軍大臣を欠き、結果として内閣は総辞職せざるを得なくなった。この政変は「陸軍のストライキ」と言われ、以降、国政において軍部大臣現役武官制が注目されるきっかけとなった。
1913年（大正2年）6月13日、第1次山本内閣において、陸軍省官制および海軍省官制を改正して、軍部大臣の補任資格を現役将官に限るとの規定を削除した（附表、別表）。この改正により、軍部大臣武官制は存続したものの、軍部大臣現役武官制は廃止された。これは、当時、一大国民運動となっていた第一次護憲運動の影響を受けて、山縣有朋・桂太郎らを中心とする軍部と藩閥の反対を押し切り、山本権兵衛首相と木越安綱陸相が断行したものである。この結果、日清戦争と日露戦争の軍歴により国民的人気の高かった木越は、中将のまま定年前に予備役に編入させられた。
なお、実際の運用では、予備役・後備役・退役の将官などから軍部大臣を任命した例はなく、一旦現役に復帰してから大臣に任命した。しかし、補任資格が予備役・後備役・退役の将官まで広がったことで、大臣候補の範囲も広がり、以後組閣時の苦労が激減した。もっとも、第1次山本内閣の後を受けて大命降下した清浦奎吾は、海軍拡張（八八艦隊の建造費用）について海軍と合意できず、海軍大臣候補が得られなかったため、組閣を断念している（鰻香内閣）。伊藤正徳によると、制度としては予備役でもよいとなっていても、実際問題として誰が適任で誰が空いているか、清浦には全く見当がつかなかった上に相談相手も得られなかったので組閣断念に至ったという（また、清浦が軍部大臣現役武官制の擁護者であった山縣有朋の側近であったことも大きい）。
1936年（昭和11年）、広田内閣のとき、陸軍省官制及び海軍省官制に「大臣及次官ニ任セラルル者ハ現役将官トス」との規定を設けて（附表、別表）、軍部大臣現役武官制を復活させた。この制度復活の口実には、「二・二六事件への関与が疑われた予備役武官（事件への関与が疑われた荒木貞夫や真崎甚三郎が、事件後に予備役に編入されていた）を、軍部大臣に就かせない」ということが挙げられていた。この制度を復活させた広田内閣は、腹切り問答によって自らが制定した軍部大臣現役武官制による陸軍大臣と揉めて、議会を解散する要求を拒絶する代わりに総辞職に追い込まれた。
その後、1937年に宇垣一成（予備役陸軍大将）に対して天皇から首相候補にに指名されて組閣命令が下った際、陸軍から陸軍大臣の候補者が得られずに組閣を断念せざるを得ない状態へ追い込まれ、1940年には米内内閣が畑俊六陸相の単独辞職により崩壊するなど、日本の軍国主義の深刻化に拍車をかけることになった。なお、宇垣から入閣交渉を受けた小磯国昭（当時朝鮮軍司令官）は「引き受けたとしても、東京に来る途中で「予備役編入」の電報が陸軍上層部から届いて、それで終わりですよ」と答えたという。
このように現役武官制と言っても現役武官の誰でも陸相に出来るというわけではなく、「軍の総意」にかなわない人事は不可能であった。陸軍の場合は三長官会議（陸相・参謀総長・教育総監）の合意によって新陸相を推挙することとしていた。この「天皇の軍隊の最高幹部がなんら倫理的葛藤なしに天皇の指名した首相を拒否・打倒する」事態については、山本七平・小室直樹・堺屋太一などが社会評論の題材として分析している。
なお、昭和期には海軍大臣人事が問題となって内閣の死命が制せられた例はない。ただ、東條内閣が成立する時に海軍が海相候補として出した豊田副武を東條が拒否し、海軍次官の沢本頼雄が「東條じゃどうせ戦争になるから代わりを出さない（ことによって東條内閣を潰す）ことにしましょう」と進言したことがあるが、及川古志郎海相らの判断で嶋田繁太郎を出すことになり、東條内閣は無事成立に至ったという例がある。
1945年（昭和20年）8月、ポツダム宣言を受諾したことによって日本軍は武装を解除された。同年12月、陸軍省は廃止されて第一復員省へ、海軍省は廃止されて第二復員省へ、それぞれ改組されて軍部大臣は消滅した。
1947年（昭和22年）に施行された日本国憲法には、「陸海空軍その他の戦力は、これを保持しない。」（9条）と定め、さらに「内閣総理大臣その他の国務大臣は、文民でなければならない。」（66条2項）と定めた。これにより、軍隊がないために武官も軍部大臣も存在せず、仮に武官がいたとしても国務大臣には就けないこととなった。しかし、その後の国際情勢の変転に伴い、1950年（昭和25年）には、軍隊に匹敵する装備を持つ警察予備隊が創設され、この事務を掌理するため警察予備隊本部が置かれた。この警察予備隊本部の長官は国務大臣ではなく、警察予備隊担当の国務大臣が置かれた。
警察予備隊は、保安隊を経て、1954年（昭和29年）に自衛隊となった。