社長退任後も引き続きウェリントンの取締役会に所属していたボーグルは、他の経営陣との話し合いを続け、最善の商品を提供していくことの重要性と信念を伝え続けた。何度も交渉を重ねた結果、最終的にウェリントンが運用するいくつかのファンドの販売と事務管理のみを担う、新たな子会社の責任者を務めることになった。これが、「バンガード」の始まりとなり、バンガード・グループは1974年9月24日に設立された。ボーグルが名付け親である社名「バンガード」の由来は、フランス革命戦争における戦闘の一つ「ナイルの海戦」での、英雄ホレーショ・ネルソン提督の率いた旗艦名である。ボーグルは会長と最高責任者を務め、27人の従業員と共に独自性と独立性を追求したバンガードのビジネスを始めた。

創業してまもなくボーグルと同僚たちは、どのようなファンドを立てたら投資家に最も還元ができるかについて研究を重ねた。研究の結果、S&P 500のインデックスに連動するファンドのリターンを継続的に上回るアクティブファンドは存在しないという結論に至り、個人投資家用のファンドとしてS&P 500に連動するファンドを立てることに決めた。このファンドは従来のバランスファンドなどと異なり、S&P 500に含まれる500銘柄のみを保有、当時のアクティブファンドの年間平均経費率約2-3%に対し、年間わずか0.5%の経費率で提供することになった。この低コストを実現できた理由の一つは、アクティブに運用を担当するファンドマネージャーなどは存在せず、S&P 500指数に連動するだけという革新的な仕組みで運営のコストや手間を減らせたことからきている。前代未聞の運用モデルのこのファンドは、「ファースト・インデックス・インベストメント・トラスト」と名付けられた。

1976年にボーグルは、現在「S&P 500インデックスファンド」として知られているファースト・インデックス・インベストメント・トラストを設定後、米国中を巡り数々の証券会社に提案したが、業界でのこの革新的な試みは、伝統的な証券会社からは中々良い反応が得られず苦戦をした。また、当ファンドは設定当初たった1,400万ドルしか投資家の資金を集められず、周囲はボーグルにこのような低コストのインデックスファンドでビジネスを行うことを、諦めるように提案したといわれている。「ファンドを償還して、投資家に返したらどう？」と多方面から言われ続けたが、ボーグルはファンドを運用し続けることにした。

しかし、人々の批判は続いた。運用資産の初期目標（1億5,000万ドル）の10分の1にすら到達できていなかったファースト・インデックス・インベストメント・トラストは、多くの人に「ボーグルの愚行」と言われ、「インデックスファンド自体がアメリカらしくない」と激しく叩かれた。この批判の根源には、市場に連動する「平均的」なリターンでは満足せず、「最も高いリターンを求めることこそがアメリカ流の投資である」という考えがあった。