検索エンジンのはしりは1994年にスタンフォード大学のジェリー・ヤンとデビッド・ファイロが開発したYahoo!である[7]。Yahoo!はディレクトリ型の検索エンジンでインターネットの普及に大きな役割を果たした[7]。

その後、ウェブ上の情報を自動的に探索して情報を索引として整理するロボットまたはクローラと呼ばれるプログラムが開発された[7]。

ロボット型検索エンジンの中でもラリー・ペイジとセルゲイ・ブリンが開発したGoogle検索は検索結果のランキングと高速検索に優れていたため検索エンジンのトップに躍り出た[7]。Googleが1998年に稼動させたGoogle検索は、従来の検索エンジンがポータルサイト化へと進む流れに逆行し、独創的な検索技術に特化し、バナー広告等を排除したシンプルな画面だった。

Googleは2000年には米Yahoo!のロボット型検索エンジンに採用されたが、Google躍進に危機感を募らせた米Yahoo!は、2004年にロボット型検索エンジンを独自技術Yahoo! Search Technology (YST)（Yahoo!が買収したInktomiと、Overtureが買収したAltaVista、Alltheweb等の技術を統合した）に切り替えた。

2009年にはマイクロソフトが新たな検索エンジンとしてBingを発表した[7]。

検索という行為が一般化するにつれて、各種目的別に多様化した検索エンジンが現れるようになった。ブログの情報に特化した検索TechnoratiやblogWatcher、商品情報の検索に特化した商品検索サイト、サイトの見た目で検索するMARSFLAG、音楽検索、動画検索、ファイル検索、アップローダ検索ほか、次々と新しい検索エンジンが生まれている。
日本における歴史
黎明期

日本のインターネット普及初期から存在した検索エンジンには以下のようなものがある。黎明期には、豊橋技術科学大学の学生が作成したYahho[8] や、東京大学の学生が作成したODiN、早稲田大学の学生が作成した千里眼など、個人の学生が作成したものが商用に対して先行していた（いずれも1995年に作成、日本電信電話株式会社のNTT DIRCECTORY[9]、サイバースペースジャパン（現・ウェブインパクト）のCSJインデックスは1994年に作成）[10]。これらは単に実験用に公開されていただけでなく、多くの人に用いられていたものであり、黎明期のユーザにとっては知名度、実用度ともに高いものであった。またMondouなどのように研究室（京都大学）で作成したものもあった。
Yahoo! JAPANの独走

1995年12月にソフトバンクがアメリカ合衆国Yahoo!株を一部買い取り、翌年4月から日本版にローカライズしたYahoo! JAPANをサービス開始した。同年7月の展示会Interopでは机2つぶん並べる程度の小規模ブースで出展する程度の力の入れ具合で、ソフトバンクの一部署として開始する程度だったものが、もともとの米国Yahoo!の知名度、90年代後半のインターネット利用者人口の増加、ディレクトリ型だけだった検索をロボット型も追加、サイト登録した一部のウェブサイトの紹介をするYahoo! Internet Guide（ソフトバンククリエイティブ出版）との連携、日本Yahoo!株高騰のニュースでインターネットを利用しない人にも名前が知れ渡るなど、様々なプラス要因と経営戦略が見事に当たり、検索サイト首位の座を固めた。そして、検索サイトの集客力を武器にニュース、オークションなど、検索サービス以外のサービスを含めたポータルサイトとしての独走を始めた。
群雄割拠と収束

1997年頃から、WWWの爆発的な拡大に伴って、ディレクトリ型のみであったYahoo!のウェブディレクトリの陳腐化が急速に進んだ。2000年代には、日本でもGoogleに代表されるロボット型検索エンジンが人気を集め始め、国産ではinfoseekやgooが登場（Yahoo! JAPANがロボット型検索エンジンにgooを採用）、2004年にはGoogleやYahoo!のエンジンに匹敵すると謳うTeomaを利用した検索エンジン、Ask Jeeves（現・Ask.com）が「Ask.jp」として日本上陸、2005年にはオーストラリアで誕生したMooterが日本上陸など、群雄割拠の時代になった。検索エンジンを利用すること＝「ググる」というネットスラングも生まれた。

また、検索エンジンでは判断できない抽象的な条件などでの検索を人手に求めた、OKWaveや人力検索はてななどの「人力検索」「ナレッジコミュニティ」と呼ばれるサービスも登場した。

モバイル検索の分野は長らく公式サイトと呼ばれる世界がユーザーの囲い込みを行っていたため、脚光を浴びることが少なかった。次第にパソコンだけでなくフィーチャーフォンや携帯型ゲーム機からもウェブサイトが検索される傾向が高くなり、GoogleやYahoo!をはじめとする携帯向けのモバイル検索サイトが登場した。ソフトバンク・Yahoo! JAPANがボーダフォンを買収し、KDDIがGoogleと提携するなどした。

2010年、Yahoo! JAPANがGoogleの検索エンジンを採用し、日本でも事実上Googleが圧倒的なシェアを保有するに至った[11]。
リーガルリスク
深層ウェブ

Googleなどのウェブ検索エンジンでは、データベースの検索結果など多くの動的ページが検索対象になっていない。このような動的ページは「深層ウェブ」「見えないウェブ」「隠されたウェブ」などと呼ばれている。静的ページの500倍の量が存在し、多くは無料だといわれる。深層ウェブは、一般の検索エンジンなどからデータベースなどを見つけ出すか、直接アクセスした上で、それぞれの検索機能から再度検索しなければならない。また、ダークウェブを探索する際に使われる検索エンジンAhmiaも存在している。
著作権との関係

ロボット型検索エンジンは、その原理上インターネット上のコンテンツを複製の上で、検索を目的とした蓄積に適した形態で保存する他、場合によってはキャッシュとして提供できるような形態でも保存する場合がある。著作権をたてに、ウェブサイトの閲覧利用規約等と称して、一切のいかなる複製も禁ずるとするサイト等があり、どういったものかと古くより話題になっていた[12]。

また、2006年11月には、日本の知的財産戦略本部コンテンツ専門調査会第3回企画WGにおいて、検索エンジンに関して「著作権法上、複製、編集には権利者の許諾が必要であり、Yahoo!、Googleなど大手検索システムのサーバーは海外に置かれているのが現状。」[13] と報告され、これをうけて経済産業省が日本国内でも合法的に検索エンジンサービスが行えるように著作権法の改正や検索エンジンの開発に取り組むと発表し[要出典]、2010年1月の改正で複製が合法とされた。
検索エンジン上の各種広告

2006年頃から日本ではURL（アドレス）を表示せず、社名や商品名などの検索キーワードを表示し、検索エンジンで検索させるように仕向けるテレビコマーシャルなどの広告表現が急増している。大抵はキーワードが書かれた状態の検索フォームとボタンを表示し、マウスクリックを促す演出がなされている。このような変化が生じた理由は不明であるが、各メディアの広告掲載基準の変更や、コマーシャルでURLを表示するのに比べてアクセス数を獲得しやすいことが増加の要因である。しかし検索結果に企業にとって不都合な情報が現れる場合があるため、グーグル八分のような検索結果の操作が行われるケースも考えられる。

現在、主流となっている広告手法として、ユーザーの検索結果後に広告を露出させる検索連動型広告と、サイトの中を分析し、そのサイトに合った広告を配信するコンテンツ連動型広告が主流である。

英語圏でも2013年ごろから「#wikipedia」のような番号記号を使った広告活動をおこなっている。
検索エンジンの課題と問題点
多言語化の課題

いわゆる「使用言語からみたインターネット人口の割合」は Internet Archive を用いて ⇒Euro Marketing と ⇒Global Reach から過去の月次資料を整理すると次のような推移を辿っている。