歴史上、百科事典に近いものとしては、中国には古くより類書が存在していたが用語集的な色合いが強く、本格的なものとしては明の時代の中国に、14部構成・全106巻に及ぶ『三才図会（さんさいずえ）』という図入りの百科事典があった。1607年に完成、二年後に刊行された。日本ではこれに倣い、江戸時代の1712年、寺島良安によって『和漢三才図会』がまとめられた。こちらも図解書で、解説は漢文で書かれた。これらも広義の百科事典と呼べるが、同時代人にとっての世界観を反映しているため、現代人からは空想の産物としか考えられない「不死国」「長脚国」などについての記述も一部には見られ、『山海経』との共通が指摘される。
いっぽうヨーロッパではすでに紀元前2世紀頃から古い書物を収集し、その内容をまとめることが行われた。
しかし今日のような辞書形式のものは、10世紀末の東ローマ帝国中期「マケドニア朝ルネサンス」の時代に生まれた。皇帝コンスタンティノス7世“ポルフュロゲネトス”はギリシアやラテンの古典から歴史や思想についてのさまざまな話題を集め、統治の参考書として編纂した。この流れでヨハネス1世ツィミスケス（在位969年-976年）の治下にはギリシア語の辞書『スーダ辞典』（スダ）が完成している。現在の百科事典と語義辞書の両方の性格を持ち、現在に伝わるもっとも古いアルファベット順配列による事典と考えられている。『スーダ辞典』には誤伝も見られるが、現在は失われた古代の諸作家の作品の膨大な引用によって、現在でも文献学研究の上で意義を認められている。なお『スーダ辞典』の編集者の名はスイダス (Suidas) であると長く考えられ、そこから辞典類を指す接尾辞 -das が生じた。（例：イミダス=Imidas）
すでに近世初期ベールによる事典の編纂が試みられた例があるものの、一般に世界最初の百科事典と呼ばれているのは、フランス革命前夜、フランス啓蒙思想運動の一環としてダランベール、ディドロ、ヴォルテール、ルソーらが企画した分冊の『百科全書』 (L'Encyclopedie) である。彼らは予約購読者を募り、分冊販売としてそれを刊行した（販売形態は今日よく見られる「月刊○○百科」のようにあるテーマで定期刊行される分冊百科を思わせる）。この企てにより彼らは「百科全書派」と呼ばれている。ただし、それぞれの項目の執筆姿勢などで意見の食い違いが生じ、内紛から離脱者が絶えなかった。
この百科全書の特徴は、「美」、「愛」、「音楽」といった大項目の他に、近代に登場した新しい技術を断面図などを含む絵入りの図解で分かりやすく解説、新知識を広く一般の共有財産にしようとしたことにある。良く知られる項目では、「農機具」、「石炭の露天掘り」、「洗濯船」、「回り舞台」などがある。各項目の配列を、編集者の価値観に秩序付けられる概念の関係によらず、いわば機械的で一律なアルファベット順にしたことも特筆すべき点である。これ以後、百科事典という語は知の一切を叙述する企ての異称としても用いられる。代表的な例としてヘーゲルの『エンチクロペディー』（ドイツ語で「百科事典」の意）が挙げられる。
近代の日本では、明治の文明開化の時期に西周（にし あまね）によって『百学連環』という日本初の百科事典が作られた。他に小中村清矩らの尽力で成立した『古事類苑』がある。1879年、当時の文部省により編纂が開始され、後には神宮司庁が引き継いで1914年に完成された。各時代の事物についての古文献を集成したため、資料的価値が高い。
明治末には三省堂『日本百科大辞典』（全10巻、齋藤精輔の編纂で1908年刊行開始、1919年完結）が、昭和初期からは平凡社『大百科事典』（全28巻、1931年刊行開始、1934年完結）などが発刊された。新たに「辞典」ではなく「事典」という語を作り出して書名に使用したのは、この平凡社のものが最初で、以後「百科事典」という漢字表記が一般化する。さらに昭和期の高度経済成長を経ると1960年代頃には各家庭に分冊の百科事典が置かれているのは珍しい風景ではなくなり、大衆化を果たした。この時代、百科事典はもっぱら応接間の飾りやステータスシンボルとしての役割を果たしていた。もっとも場所を取ることもあり、百科事典ブームが終息した後では大部の百科事典は余り家庭では歓迎されなくなり、廃棄処分されることが多くなった。
百科事典と類似の出版物として、『現代用語の基礎知識』のような流行・世相をふんだんに取り入れた時代風俗を映す年刊の資料集的なものも市場に現れるようになった。のちに『イミダス』『知恵蔵』という同コンセプトの年刊資料集が現れ、この三誌が鼎立している（『イミダス』『知恵蔵』は、インターネットの普及に伴う販売部数の減少により2007年版を持って休刊することが決定している）。
1980年以降は、コンピュータの普及に伴い、百科事典はCD-ROMなどでコンピュータソフトウェアとしても出回るようになった。2000年頃からは、インターネットの普及に伴い、ウェブ版も作られるようになってきた。ウィキペディアもその一つである。2005年現在、携帯電話・PHSのウェブブラウザでアクセスできる百科事典も存在しており、誰でも、使いたい時に、どこでも百科事典の知識にアクセスできる環境になりつつある。紙媒体の百科事典は、刊行後時間が経つと時事的な内容に関しては記述が陳腐化してしまいがちであるが、ウェブ版の百科事典では、項目内容の随時更新が可能であり、改訂が容易である。また、ウェブ版およびCD-ROM等の電子媒体を用いた百科事典は、検索機能などの使い勝手が紙製の書籍より一般的に優れている。
一方で、ウェブ版の百科事典の新しい潮流のひとつである、ウィキペディアなどの「誰でも」執筆や編集に参加できることを特徴とするプロジェクトに関しては、従来の百科事典のように専門家や研究者が編纂する体系的書物とは性質が異なるため、「百科事典」を自ら名乗ることは内容の信頼性に対して誤解を招くという批判がされている[3][4][5]。