ハルシネーション (英語: hallucination) とは、人工知能が学習したデータからは正当化出来ないはずの回答を堂々と生成する現象である[1]。この語は幻覚を意味する語から取られたもので、人工知能が幻覚を見ているかのように回答することから付けられた[2]。作話 (confabulation)[3] や、妄想 (delusion)[4] などの表現も使われることがある。
概要

例えば、テスラの収益に関する知識がないチャットボットがハルシネーションに陥ると、もっともらしいと判断したランダムな数字（130.6億ドルのような）を内部的にピックアップして、間違っているにもかかわらず「テスラの収益は130.6億ドルだ」と繰り返すようになる。そしてこのとき、人工知能の内部ではこの数字が自身の創造の産物だということに気付いている兆候がみられない[5]。

こうした現象は、精神医学における人間の幻覚（あるいは作話・妄想）とのアナロジーからその名が付けられている。ただし人間にとっての幻覚とは「対象なき知覚」とも呼ばれ、感覚器官を通じて知覚している「対象が存在しないにもかかわらず真の知覚と区別できない知覚体験をすること」が一般的な定義とされる[6]。それに対して人工知能の幻覚とは、どのような学習データとも整合しない回答をAIが堂々と生成することである[1]。そのため、幻覚ではなく作話（confabulation）という表現を好んで使う研究者もいる[3]。

2022年は、ChatGPTやMicrosoft Copilotのような大規模言語モデル (LLM) が公開されたこともあり、人工知能のハルシネーションについて以前にも増して注目が集まった年になった[7]。こうした言語モデルが生成するコンテンツは「ソシオパス」を思わせるほど、一見もっともらしく聞こえるのに実際には無意味で無作為的な誤りが入り込む現象が起こり、一般の利用者からも不満の声が上がっている[8]。また別の形のハルシネーションとして、人工知能が自分が何であるかを忘れてしまい人間だと主張するケースもある[9]。

このため2022年には『ニューヨーク・タイムズ』などの大手の新聞が、大規模言語モデルをベースにしたチャットボットが今以上に定着すると、何も知らないユーザーがチャットボットの出力結果をうのみにしてしまい、様々な問題が起こると警鐘を鳴らしている[10]。

また2023年の時点で、アナリスト[要曖昧さ回避]たちは大規模言語学習をめぐるテクノロジーにおいて、人工知能が頻繁にハルシネーションに陥ってしまう現象は、深刻な問題になるだろうと予想している[11]。
分析

アメリカの雑誌『Wired』によると、さまざな研究者が人工知能のハルシネーションを高次元統計または学習データの不備に由来する現象として位置付けている。物体検出を例にとり、人間が「間違った」人工知能の回答を「ハルシネーション」として分類している場合でも、実際にはその回答は学習データ上は正当化されうる、と考えている研究者もいる。もっと言えば、人工知能は正しい回答を出していたのに、人間のレビュワーはそれを見誤ってしまう可能性があるということである。例えば、人間には典型的な犬にしかみえない「敵対的」画像も、人工知能からみれば、本物の猫（の画像）にしか現れない微小なパターンが含まれているということがある。人工知能は人間には知覚することが不可能な、現実世界の視覚的パターンを検出しているからである。

一方で、こうした見方に対して異議を唱える研究者もいる[12]。 例えば、@media screen{.mw-parser-output .fix-domain{border-bottom:dashed 1px}}言語モデルが表層的な相関に偏向してしまい、現実の世界のありように対して頑健（ロバスト）でなくなる敵対的学習をしてしまうことがあり得るという反論である[訳語疑問点][12]。