これに対して岩倉と同じく保守派の太政大臣三條實美らは右大臣に伊藤を充てるという人事改革案で応酬した。しかし伊藤はこれを丁重に断り、代わって黒田清隆を推したが、こんどは酒乱の気がある黒田に保守派が尻込み、結局この「改革合戦」は引き分けに終わった。だが伊藤もこれに怯まずに提案したのが、内閣制度だった。「君主立憲政体なれば、君位君権は立法の上に居らざる可からずと云の意なり。故に、憲法を立て立法行政の両権を並立せしめ（立法議政府、行政宰相府）恰も人体にして意想と行為あるが如くならしめざる可からずと云」という伊藤の語録にあるように、憲法とセットにして近代的内閣制度をつきつけられては、保守派も反対の名目がない。伊藤の作戦勝ちであった。

1885年（明治18年）12月22日、太政官達第69号で (1) 太政大臣、左右大臣、参議及び各省卿の職制を廃し、新たに内閣総理大臣、並びに宮内、外務、内務、大蔵、陸軍、海軍、司法、文部、農商務及び逓信の各大臣を置くこと、(2) 内閣総理大臣及び各大臣（宮内大臣を除く）をもって内閣を組織すること、が定められ、ここに内閣制度が始まった。

このとき同時に定められた内閣職権によって、内閣総理大臣には「各大臣ノ首班トシテ機務ヲ奏宣シ旨ヲ承テ大政ノ方向ヲ指示シ行政各部ヲ統督ス」（2条）と、形の上では強力な権限を与えられていた。しかし1889年（明治22年）に大日本帝国憲法が発布されると、「国務各大臣ハ天皇ヲ輔弼シ其ノ責ニ任ス」（55条1項）との定めから、行政権は形式上各国務大臣の輔弼により天皇が自ら行うものとされ、内閣は各大臣の協議と意思統一のための組織体と位置づけられた。これを受けて、同年12月24日に公布された、内閣官制により、「内閣総理大臣ハ各大臣ノ首班トシテ機務ヲ奏宣シ旨ヲ承ケテ行政各部ノ統一ヲ保持ス」（2条）と、その権限は弱められ、その結果「首班」とは「同輩中の首席（ラテン語:PRIMUS INTER PARES）」を意味するものと解釈されることになった。

1946年（昭和21年）11月3日に公布された日本国憲法には、「内閣は、法律の定めるところにより、その首長たる内閣総理大臣及びその他の国務大臣でこれを組織する」（66条1項）とあり、これにともない翌1947年（昭和22年）1月16日に施行された内閣法にでは「内閣総理大臣は、閣議にかけて決定した方針に基いて、行政各部を指揮監督する」（第6条）など、その権限は大幅に強化された。これらの改革は、旧憲法下における内閣総理大臣の権限が極めて弱かったために軍部の独走を許したことを反省したものである。最後の元老 西園寺公望

旧憲法下の内閣総理大臣は、それぞれが天皇に対して輔弼の責任を負う各国務大臣の「首班」という位置づけでしかなかった。したがっていったん閣内に意見の不一致が起こると、内閣総理大臣にできることといえば反対派を説得する事位で、これが失敗すれば内閣総辞職するしかなかったのである。これを利用したのが陸軍だった。「陸海大臣に任じられるものは現役の大将中将に限る」という軍部大臣現役武官制をテコに、内閣が軍部の意に沿わない場合、陸軍大臣は単独で天皇に辞表を提出して辞めてしまい、且つ軍は後任を推薦しないのである。陸軍大臣を欠いては内閣は存続し得ない。

新憲法下の内閣総理大臣は、閣内に意見の不一致が起こった場合は、反対派に辞職を迫るか罷免して自らの意見を通すことができる。また何らかの理由で大臣が突然辞職しても、内閣総理大臣はその後任を任意に任命することができる。この顕著な例が解散権である。憲法上、衆議院の解散は内閣の助言と承認により天皇が行うことになっているが（7条3号）、これはつまり「解散権は内閣に属す」ということであり、「閣議決定なしには解散はできない」ということである。しかし一般には「解散権は内閣総理大臣の専権」だと解釈されている。これは解散に反対して閣議書への署名を拒否する大臣がいたとしても、内閣総理大臣はその大臣を罷免したうえで自らが兼務して閣議書へ署名することができるからである。仮に全閣僚が反対したとしても、内閣総理大臣は全ての大臣を罷免・兼務してでも解散を閣議決定できる（一人内閣。一種の独裁状態で最後の手段）。したがって内閣総理大臣が解散を行うと決めた場合、これを阻止する手だては法令上はないのである。このように大臣に対する任意の罷免権の効果は極めて大きい。

職務歴代内閣総理大臣の花押（初代から44代まで）。閣議で作成される文書には、署名の代わりに花押が用いられる。

日本国憲法と現行の内閣法が規定する内閣総理大臣の地位は次の通り。

地位

行政権は、内閣に属する（憲法65条）。

内閣は、法律 (内閣法) の定めるところにより、その首長たる内閣総理大臣及びその他の国務大臣でこれを組織する（憲法66条1項）。

内閣総理大臣は「行政府の首長」と位置づけられている。

資格

内閣総理大臣その他の国務大臣は、文民でなければならない（憲法66条2項）。

内閣総理大臣は、国会議員の中から国会の議決（首班指名）でこれを指名する（憲法67条1項）。

天皇は、国会の指名に基いて、内閣総理大臣を任命する（憲法6条1項）。