明治維新以降、日本の政治は五箇条の御誓文に示された「広ク会議ヲ興シ万機公論ニ決スヘシ」の方針を実現するために設けられた太政官制度によって行われてきた。しかし、奈良時代から続くこの政体は古色蒼然としていて新時代にはそぐわないものであったばかりか、制度面においても、天皇を輔弼するのは太政大臣・左大臣・右大臣であり、これによって「指揮」される参議と各省の卿には輔弼責任がない、また太政大臣が極度に多忙なかたわら左右大臣の職責は不明瞭という、迂遠かつ非効率なものであった。

1880年（明治13年）ごろから参議伊藤博文はこの太政官制の改革を試みはじめたが、これに対して保守派の右大臣岩倉具視が反発した。当時の伊藤には岩倉に対抗するだけの政治力がなかった（明治14年の政変による大隈重信追放が岩倉が宮中を動かして進められたために、伊藤も岩倉との衝突によって「第二の大隈」になる可能性があった。）。そのため、伊藤はいったんこの提案を引き下げて1882年（明治15年）3月から伊東巳代治、西園寺公望らとともに渡欧し、ドイツ、オーストリア、イギリスなどで憲法を含む立憲体制の調査に当たったが、この時から「文明諸国と同等の政府」の骨格が具体的に構築されていく。そして、岩倉の死後に帰国した伊藤はドイツで研究した立憲体制に則した政治体制構想の実施を進めようとした。

これに対して、岩倉と同じく保守派の太政大臣三條實美らは、右大臣に伊藤を充てるという人事改革案で応酬した。しかし伊藤はこれを丁重に断り、代わって黒田清隆を推したが、今度は酒乱の気がある黒田に保守派が尻込み、結局この「改革合戦」は引き分けに終わった。だが伊藤もこれにひるまずに提案したのが、内閣制度だった。「君主立憲政体なれば、君位君権は立法の上に居らざる可からずと云の意なり。故に、憲法を立て立法行政の両権を並立せしめ（立法議政府、行政宰相府）恰も人体にして意想と行為あるが如くならしめざる可からずと云」という伊藤の語録にあるように、憲法とセットにして近代的内閣制度をつきつけられては、保守派も反対の名目がない。伊藤の作戦勝ちであった。

1885年（明治18年）12月22日、太政官達第69号で (1) 太政大臣、左右大臣、参議及び各省卿の職制を廃し、新たに内閣総理大臣、並びに宮内、外務、内務、大蔵、陸軍、海軍、司法、文部、農商務及び逓信の各大臣を置くこと、(2) 内閣総理大臣及び各大臣（宮内大臣を除く）をもって内閣を組織すること、が定められ、ここに内閣制度が始まった。

このとき同時に定められた内閣職権によって、内閣総理大臣には「各大臣ノ首班トシテ機務ヲ奏宣シ旨ヲ承テ大政ノ方向ヲ指示シ行政各部ヲ統督ス」（2条）と、形の上では強力な権限を与えられていた。しかし1889年（明治22年）に大日本帝国憲法が発布されると、「国務各大臣ハ天皇ヲ輔弼シ其ノ責ニ任ス」（55条1項）との定めから、行政権は形式上各国務大臣の輔弼により天皇が自ら行うものとされ、内閣は各大臣の協議と意思統一のための組織体と位置付けられた。これを受けて、同年12月24日に公布された、内閣官制により、「内閣総理大臣ハ各大臣ノ首班トシテ機務ヲ奏宣シ旨ヲ承ケテ行政各部ノ統一ヲ保持ス」（2条）と、その権限は弱められ、その結果「首班」とは「同輩中の首席（ラテン語:PRIMUS INTER PARES）」を意味するものと解釈されることになった。

1946年（昭和21年）11月3日に公布された日本国憲法には、「内閣は、法律の定めるところにより、その首長たる内閣総理大臣及びその他の国務大臣でこれを組織する」（66条1項）とあり、これにともない翌1947年（昭和22年）1月16日に施行された内閣法では、「内閣総理大臣は、閣議にかけて決定した方針に基いて、行政各部を指揮監督する」（第6条）など、その権限は大幅に強化された。これらの改革は、旧憲法下における内閣総理大臣の権限が極めて弱かったために軍部の独走を許したことを反省したものである。最後の元老 西園寺公望

旧憲法下の内閣総理大臣は、それぞれが天皇に対して輔弼の責任を負う各国務大臣の「首班」という位置付けでしかなかった。したがって、いったん閣内に意見の不一致が起こると、内閣総理大臣にできることといえば反対派を説得することくらいで、これが失敗すれば内閣総辞職するしかなかったのである。これを利用したのが陸軍だった。「陸海大臣に任じられるものは現役の大将中将に限る」という軍部大臣現役武官制をテコに、内閣が軍部の意に沿わない場合、陸軍大臣は単独で天皇に辞表を提出して辞めてしまい、かつ軍は後任を推薦しないのである。陸軍大臣を欠いては内閣は存続し得ない。

新憲法下の内閣総理大臣は、閣内に意見の不一致が起こった場合は、反対派に辞職を迫るか罷免して自らの意見を通すことができる。また何らかの理由で大臣が突然辞職しても、内閣総理大臣はその後任を任意に任命することができる。この顕著な例が解散権である。憲法上、衆議院の解散は内閣の助言と承認により天皇が行うことになっているが（7条3号）、これはつまり「解散権は内閣に属す」ということであり、「閣議決定なしには解散はできない」ということである。しかし一般には「解散権は内閣総理大臣の専権」だと解釈されている。これは解散に反対して閣議書への署名を拒否する大臣がいたとしても、内閣総理大臣はその大臣を罷免した上で、自らが兼務して閣議書へ署名することができるからである。仮に全閣僚が反対したとしても、内閣総理大臣はすべての大臣を罷免・兼務してでも解散を閣議決定できる（一人内閣。一種の独裁状態で最後の手段）。したがって、内閣総理大臣が解散を行うと決めた場合、これを阻止する手立ては法令上はないのである。このように、大臣に対する任意の罷免権の効果は極めて大きい。

職務歴代内閣総理大臣の花押（初代から44代まで）。閣議で作成される文書には、署名の代わりに花押が用いられる。

日本国憲法と現行の内閣法が規定する内閣総理大臣の地位は次の通り。

地位

行政権は、内閣に属する（憲法65条）。

内閣は、法律 (内閣法) の定めるところにより、その首長たる内閣総理大臣及びその他の国務大臣でこれを組織する（憲法66条1項）。