源頼朝は当初、関東武士団の棟梁（＝鎌倉殿）でしかなく、律令制下における地位を持たなかった。即ち、当初は平将門等と同じ地方叛乱の首領でしかなかったのである。その頼朝の政権構想には、先行モデルとして平家政権・源義仲・奥州藤原氏地方政権の3パターンがあり、それらの比較検討から次第に鎌倉政権のイメージが練られたと思われる。

平家政権の段階では、元々当時は公家の地位が高かったため、平氏の中の平家は公家の一つになることで栄華を誇った。これに対し頼朝は武士の地位そのものの向上に向けて動き出した。そこで、朝廷に対して、武士の自主的統治権を確立するために相応の地位を求めていくようになる。

中央・京都に進出した源義仲は、過去に存在した「征東大将軍」という官職に任官した。征東大将軍の地位は東方の勢力を成敗する使命を暗示するもので、その裏には義仲の頼朝に対抗する意図が推定されるが、義仲政権はごく短期の政権に終わった（近年までは、義仲が任官したのは『吾妻鏡』『百錬抄』を根拠に「征夷大将軍」とする説が有力で、『玉葉』に記されている「征東大将軍」説を唱えるのは少数派であった。だが、『三槐荒涼抜書要』〔『山槐記』の抄出〕に「征東大将軍」と記されているのが発見され、『玉葉』『三槐荒涼抜書要』が同時代史料〔公家の日記〕であるのに対して、『吾妻鏡』『百錬抄』は後世の編纂史料であるため、現在では「征東大将軍」説の方が有力になっている）。

当時の東北地方は奥州藤原氏が支配し、朝廷の支配が及んでいない地域だった。奥州藤原氏は「鎮守府将軍」の地位を獲得し自らの居所を「柳の御所」「柳営」と称した。柳営とは幕府の別名である。鎮守府将軍は、陸奥国、出羽国内で軍政という形での地方統治権が与えられており辺境常備軍（征夷大将軍の場合は臨時遠征軍）の司令官という性格を持つが故に京都在住の必要が無く、地方政権の首領には都合が良かった。これは頼朝政権の格好の雛形となったろう。

1190年（建久元年）、頼朝は、右近衛大将（右大将）に任官され、自らの家政機関を政所として公認された。しかし近衛大将はその職務の性格上京都に在住しなければならず、関東での独立を指向するには不向きだった。そこで頼朝は右大将を辞任し、前右大将としてその特権を保持した。「前右大将」という名目を鎌倉政権の歴代首長の地位としていく構想もありえなくはなかったと思われる。だが、右大将では形式上の官位こそ高いが、すでにライバルだった源義仲が征東大将軍だったことに比べると、中央近衛軍司令官という性格上、積極的に地方の争乱を武力で鎮圧する地位ではない。また奥州藤原氏の鎮守府将軍と比較すると「武士の自治」という重要な積極的要素が欠けていた。

そこで頼朝が注目したのが「征夷大将軍」という官職であった。これは軍政（地方統治権）という意味では鎮守府将軍と同様である。かつ、坂東の兵（この場合は東国の武士）を率いて奥羽の蝦夷（この場合は奥州藤原氏）を征伐するという目的からしても、鎮守府将軍より故実からして格上でもある格好の官職であった。

つまり、

東国武士の棟梁として君臨する鎌倉殿という私的地位

守護・地頭を全国に置き、軍事警察権を行使する権限

右大将として認知された、家政機関を政所などの公的な政治機関に準ずる扱いを受ける権限

を、全て纏め上げて公的に担保するのが征夷大将軍職であった。

ただし征夷大将軍職は奥州藤原氏を討つための奥州合戦においてこそ必要とされた官職であって、実際に任官した1192年（建久3年）においては、既に頼朝にとって必要性はなくなっていたという説も有力である。実際に頼朝は征夷大将軍職にあまり固執しておらず、2年後の1194年（建久5年）には辞官の意向を示している。また源頼家は家督継承にあたりまず左近衛中将、ついで左衛門督に任官されており、征夷大将軍職を宣下されたのはその3年後である。さらに比企能員の変に際しては総追撫使・総地頭の地位の継承が問題となっており、将軍職は対象とされていない。したがって、この段階では将軍職は、武家の棟梁の絶対条件ではなく、さほど重視されていなかったことがうかがえる。一方、源実朝の家督継承に際してはまず将軍職が宣下されている。

だが近年、『三槐荒涼抜書要』に、頼朝の征夷大将軍任官の経緯の記述が発見された（それまでは同時代史料の記述が見つからなかったため、後世の編纂史料である鎌倉幕府の公式記録『吾妻鏡』の記述をもとに推測がなされていた）。それによると、頼朝が望んだのは「大将軍」であり、それを受けて朝廷側が、凶例である「惣官」（平宗盛）・「征東」（源義仲）や先例のない「上将軍」を斥け、吉例である「征夷」（坂上田村麻呂）を採用することにしたという。つまり、頼朝にとって重要なのは「征夷」ではなく「大将軍」であり、朝廷側も消去法で選んだだけだったことが明らかとなった。そのため、「征夷」に重点を置いた解釈のされてきたこれまでの研究には再検討の必要が出てきている。

源氏の征夷大将軍が3代で断絶すると、摂家将軍、宮将軍を傀儡に据えて執権北条氏が実権を握ることになった。

その後の武家社会

鎌倉時代以降、源頼朝が「征夷大将軍」の位を得て幕府を開いて後は、幕府の政治力が徐々に高まっていった。しかし、鎌倉時代を通じては、朝廷も全国支配をおこなう政府として存続し続けた。一方、鎌倉幕府においては執権職を独占した北条氏が覇権を握り、征夷大将軍は名目上の武家の棟梁ではあるけれども、実際は北条氏の傀儡となった。室町幕府が成立すると、３代将軍足利義満の時期に、義満は公武両権力の頂点に立った。それ以降、「征夷大将軍」は武家の最高権威となった（ただし、実質的権力については、元将軍である室町殿〔足利氏家督〕や大御所が握っている場合もあり、必ずしも征夷大将軍が握っていたわけではない）。この時期以降、朝廷は単なる形式だけの政府で、幕府こそが日本全土を統治する正真正銘の政府となったと言える。

南北朝時代には、南朝の北畠顕家が鎮守府将軍を鎮守大将軍と名乗ることを認められているが、これは征夷大将軍と同格の存在としてこれに対抗する意図があったとされる。

歴史上存在した俗説

「武家の棟梁となる将軍に就く家柄は、清和源氏に連なる家系に限る」という認識が武家の間でまことしやかに慣例となっていた。織田信長は織田家が平家の系図を称していたため「征夷大将軍」にはなれず、また徳川家康は「征夷大将軍」に任命されるに当たっては、系図を偽造して清和源氏と称したというエピソードも残っている。しかしながら、実際に織田信長に「征夷大将軍拝命」の勧めの勅使が来ていることもあり、現実的には源氏でなければ将軍になれないというのは根拠がない（おそらく家康が源氏を称した理由はただ将軍になるのではなく、源氏長者となり、さらに将軍職へ就くことにより、秀吉の武家関白制に対抗し、武家と公家の双方を支配する権利を得るのが目的だったのであろう）。また、頼朝以降に限っても、摂家将軍や皇族将軍の例があり、現実に清和源氏に限られていない。これらの事から、征夷大将軍になるのは源氏でも平氏でも藤原氏でも、なんら支障は無いと解釈できる。

そこで昨今取りざたされている説は、「征夷大将軍」は本来東国の兵を率いて蝦夷征伐にあたる職なので、「何らかの形で東国を支配している者」が就任するための条件であったというものである。