延暦13年（794年）1月1日、『日本紀略』にある「征夷将軍の大伴弟麻呂に節刀を賜うた」の記述が、「征夷将軍（征夷大将軍）」の初見とされる。弟麻呂の副使（副将軍）は坂上田村麻呂だった。

延暦16年（797年）11月5日、坂上田村麻呂が征夷大将軍に昇格。田村麻呂は胆沢の蝦夷のアテルイを撃破し、捕虜として京へ送った。田村麻呂は従三位（のちに正三位）へ補任された。

弘仁2年（811年）4月17日には陸奥按察使だった文室綿麻呂が、蝦夷との交戦に際し征夷将軍[注釈 8]に任じられ、同年閏12月11日には蝦夷征討の終了を奏上した。弘仁5年（814年）11月17日、綿麻呂は再度征夷将軍に任じられたものの、実際には征討は行われなかった。
源頼朝鎌倉幕府を創設した源頼朝
（伝源頼朝像、在職期間:建久3年 - 建久10年）

頼朝は朝廷に対し「前大将」に代えて「大将軍」号を求め、朝廷は消去法的に「征夷大将軍」を採択し補任した（建久3年、1192年）[5]。

また以下の説もある。
東国の独立政権

源頼朝の一族（河内源氏）は軍事を家業として朝廷に仕える軍事貴族であった。しかし、伊豆の流人生活から東国武士団を率いて反平氏の旗を揚げた。頼朝の当初の立場は朝廷に公認されたものではなかった。頼朝は、まず朝廷から相対的に独立した「東国王権」を築き上げ、京都の朝廷では元号を養和と改元したが、頼朝は、そのまま治承の年号を使用した[6] 。その後、朝廷との関係も含め、先行する平氏政権・源義仲・奥州藤原氏地方政権の3パターンの比較検討から次第に政権構想が練られたのではないかといわれている。

平氏政権は、既存の貴族の家格秩序に従って官位昇進をし、天皇の外戚として朝廷の権力を掌握する道を選んだが、平氏の繁栄を誇示するだけになり、地方の実効支配者としての武士の代表としてうまく機能しなかった。これに対し、頼朝は東国の一定の独立性は保ちつつ朝廷に武家権力としての自主的統治権を認めさせるために交渉を重ねていくことになる。

平氏を追い落として京都を制圧した源義仲は、200年以上前に存在した征東大将軍に任官された。征東大将軍の官名は東方を征伐する職務を示すもので、東国の頼朝に対抗する義仲の意図が推定される。義仲を滅ぼした頼朝もまたこれに匹敵する称号を望むこととなる。

当時の東北地方は、朝廷の支配が及ばない奥州藤原氏の独立した地方政権だった[7]。奥州藤原氏は鎮守府将軍の地位を得て、陸奥国・出羽国における軍政という形での地方統治権を認められ100年支配した[8]。辺境常備軍（征夷大将軍の場合は臨時遠征軍）の現地司令官という性格を持つが故に在京の必要がなく、地方政権の首領には都合が良かった。頼朝自身も鎌倉に留まり続け、京都の朝廷から公認を受けつつ一定の独立性を保持しようとした。

近衛大将から征夷大将軍へ

建久元年（1190年）、頼朝は右近衛大将（右大将）に任官したが、近衛大将は中央近衛軍司令官という性格上在京しなければならず、半月も経ぬうちに辞任した。この右大将は官位相当こそ高いものの、源義仲の征東大将軍のように武士を統率して地方の争乱を鎮圧する地位ではなく、また奥州藤原氏の鎮守府将軍のように東国に独立の勢力圏を擁するに相応しい地位でもない。

そこで注目したのが、征夷大将軍という官職であった。坂東の武士を率いて行う蝦夷（奥州藤原氏）征服に大義名分を得るという目的からしても、また鎮守府将軍と同様に軍政（地方統治権）を敷く名分としても相応しく、故実からも鎮守府将軍より格上である格好の官職だった。

つまり、

東国武士の棟梁たる鎌倉殿という私的地位

守護（追捕使）・地頭を全国に置き、軍事・警察権を掌握する日本国惣追捕使・日本国惣地頭という公的地位

右大将として認知された、家政機関を政所などの公的な政治機関に準ずる扱いを受ける権限

を、全て纏め上げて公的に裏付けられた一体的地位とするのが征夷大将軍職であったという見方もできる。
征夷大将軍の意義

しかし、頼朝にとって征夷大将軍職は、奥州藤原氏征討のためにこそ必要とされた官職であって、奥州合戦を経て実際に任官した建久3年（1192年）にはすでに必要なくなっていたという見方もある。実際に頼朝は征夷大将軍職にあまり固執せず、2年後には辞官の意向を示している[9][注釈 9]。

また、嫡男の頼家は家督継承にあたり、まず左近衛中将、次いで左衛門督に任官されており、征夷大将軍に任官したのはその3年後である。頼家が失脚する比企能員の変の際、惣追撫使・惣地頭の地位の継承が問題となった一方、征夷大将軍職は対象とされていない。従って、この段階の征夷大将軍は、武家の棟梁たる鎌倉殿や日本の軍事的支配者たる惣追撫使・惣地頭の地位と不可分なものではなく、さほど重視されていなかったことが窺える。

ただ、頼家の弟実朝の家督継承の際にはまず征夷大将軍に任官されている。これはクーデターである比企能員の変によって頼家やその嫡子一幡が存命する中で実朝を擁立した北条氏や、幕府を統御し実朝を諸国守護の任に当たらせようと考えた後鳥羽上皇にとって、鎌倉殿実朝の権威化という点で重要な意味を持ち、なおかつ無官の実朝にも任官できる令外官である征夷大将軍が好都合な官職だったからだと考えられている[11]。

頼朝は朝廷の常設最高職である左大臣に相当する正二位でこの職に就き、同時に一部で朝廷との二重政権状態を残しつつ全国に武家支配政権を形作ったため、以降その神格化とともに天下人としての征夷大将軍の称号が徐々に浸透していく。また、後年に至るまで執権・管領・大老などの幕府次席職の官位は従四位止まりであり、（実権が伴わないとしても）将軍のみが隔絶して高い権威として全ての武士の上に君臨する慣習も、この時期に確立されている。
近年明らかになった新事実

これらの通説を覆す新史料として、『三槐荒涼抜書要』[注釈 10]所収の『山槐記』建久3年（1192年）7月9日条および12日条に頼朝の征夷大将軍任官の経緯の記述が見つかった。それによると頼朝は、この時、「前右府」の号に代わる「大将軍」を望んだが、「征夷大将軍」を直接望んではいなかった。

それを受けた朝廷で「惣官」「征東大将軍」「征夷大将軍」「上将軍」の4つの候補が提案されて検討された結果、坂上田村麻呂の任官した「征夷大将軍」が吉例であるとして、頼朝を「征夷大将軍」に任官することにしたという。他の候補は、平宗盛の任官した「惣官」や、義仲の任官した「征東大将軍」[注釈 11]は凶例であり、また「上将軍」も日本では先例がないとして斥けられた。これは当然の選定と言えるが、頼朝がこれを予期していたのかは不明である。なお従来の多く研究で、その前提に基づいた「征夷」に重点を置いた解釈がされてきたが再検討の必要が生じている[12][13]。

頼朝が「大将軍」を望んだ理由としては、10世紀 - 11世紀の鎮守府将軍を先祖に持つ貞盛流平氏・良文流平氏・秀郷流藤原氏・頼義流源氏などが鎮守府「将軍」の末裔であることを自己のアイデンティティとしていた当時において、貞盛流の平氏一門・秀郷流の奥州藤原氏・自らと同じ頼義流源氏の源義仲・源行家・源義経などといった鎮守府「将軍」の末裔たちとの覇権争いを制して唯一の武門の棟梁となり、奥州合戦においても意識的に鎮守府「将軍」源頼義の後継者であることを誇示した頼朝が、自らの地位を象徴するものとして、武士社会における鎮守府「将軍」を超える権威として「大将軍」の称号を望んだとする説が出されている[14][15][16]。