征夷将軍（大将軍）は、「夷」征討に際し任命された将軍（大将軍）の一つである。「東夷」に対する将軍としては、和銅2年（709年）3月6日に陸奥鎮東将軍に任じられた巨勢麻呂が最初となる[注釈 3]。養老4年（720年）9月29日には多治比縣守が持節征夷将軍に任じられ[注釈 4]、同日、「北狄」に対する持節鎮狄将軍に阿倍駿河が任じられた。天平9年（737年）に持節大使に任じられた藤原麻呂は従三位に補任されていた。「大使」はまた別に「将軍」とも呼ばれた。

「征東将軍」の初見は、延暦3年（784年）2月に任命された大伴家持であり、「征東大将軍」の初見は、延暦7年（788年）12月7日に辞見した紀古佐美である[注釈 5][注釈 6]。

延暦10年（791年）7月13日に、大伴弟麻呂が征東大使[注釈 7]に就任。延暦12年（793年）2月17日、「征東使」は「征夷使」と改められる。

延暦13年（794年）1月1日、『日本紀略』にある「征夷将軍の大伴弟麻呂に節刀を賜うた」の記述が、「征夷将軍（征夷大将軍）」の初見とされる。弟麻呂の副使（副将軍）は坂上田村麻呂だった。

延暦16年（797年）11月5日、坂上田村麻呂が征夷大将軍に昇格。田村麻呂は胆沢の蝦夷のアテルイを撃破し、捕虜として京へ送った。田村麻呂は従三位（のちに正三位）へ補任された。

弘仁2年（811年）4月17日には陸奥按察使だった文室綿麻呂が、蝦夷との交戦に際し征夷将軍[注釈 8]に任じられ、同年閏12月11日には蝦夷征討の終了を奏上した。弘仁5年（814年）11月17日、綿麻呂は再度征夷将軍に任じられたものの、実際には征討は行われなかった。
源頼朝鎌倉幕府を創設した源頼朝
（伝源頼朝像、在職期間:建久3年 - 建久10年）

頼朝は朝廷に対し「前大将」に代えて「大将軍」号を求め、朝廷は消去法的に「征夷大将軍」を採択し補任した（建久3年、1192年）[5]。

また以下の説もある。
東国の独立政権

源頼朝の一族（河内源氏）は軍事を家業として朝廷に仕える軍事貴族であった。しかし、伊豆の流人生活から東国武士団を率いて反平氏の旗を揚げた。頼朝の当初の立場は朝廷に公認されたものではなかった。頼朝は、まず朝廷から相対的に独立した「東国王権」を築き上げ、京都の朝廷では元号を養和と改元したが、頼朝は、そのまま治承の年号を使用した[6] 。その後、朝廷との関係も含め、先行する平氏政権・源義仲・奥州藤原氏地方政権の3パターンの比較検討から次第に政権構想が練られたのではないかといわれている。

平氏政権は、既存の貴族の家格秩序に従って官位昇進をし、天皇の外戚として朝廷の権力を掌握する道を選んだが、平氏の繁栄を誇示するだけになり、地方の実効支配者としての武士の代表としてうまく機能しなかった。これに対し、頼朝は東国の一定の独立性は保ちつつ朝廷に武家権力としての自主的統治権を認めさせるために交渉を重ねていくことになる。

平氏を追い落として京都を制圧した源義仲は、200年以上前に存在した征東大将軍に任官された。征東大将軍の官名は東方を征伐する職務を示すもので、東国の頼朝に対抗する義仲の意図が推定される。義仲を滅ぼした頼朝もまたこれに匹敵する称号を望むこととなる。

当時の東北地方は、朝廷の支配が及ばない奥州藤原氏の独立した地方政権だった[7]。奥州藤原氏は鎮守府将軍の地位を得て、陸奥国・出羽国における軍政という形での地方統治権を認められ100年支配した[8]。辺境常備軍（征夷大将軍の場合は臨時遠征軍）の現地司令官という性格を持つが故に在京の必要がなく、地方政権の首領には都合が良かった。頼朝自身も鎌倉に留まり続け、京都の朝廷から公認を受けつつ一定の独立性を保持しようとした。

近衛大将から征夷大将軍へ

建久元年（1190年）、頼朝は右近衛大将（右大将）に任官したが、近衛大将は中央近衛軍司令官という性格上在京しなければならず、半月も経ぬうちに辞任した。この右大将は官位相当こそ高いものの、源義仲の征東大将軍のように武士を統率して地方の争乱を鎮圧する地位ではなく、また奥州藤原氏の鎮守府将軍のように東国に独立の勢力圏を擁するに相応しい地位でもない。