AIのハルシネーションとは？ チャットボットが事実をでっち上げる理由と正確な答えを得る方法

AIのハルシネーションとは何ですか？

AIのハルシネーションとは、チャットボットなどの生成AIシステムによる回答のうち、誤っている、でっち上げられている、あるいは矛盾しているにもかかわらず、あたかも真実であるかのように示されるものを指します。米国国立標準技術研究所（NIST）は作話（confabulation）という用語を使い、生成AIシステムが誤った、または虚偽の内容を生成し、自信を持って提示する現象と定義しています^[1]。NISTは、プロンプトから逸脱した出力や、システム自身の以前の発言と矛盾する出力もこれに含め、こうしたものは俗に「ハルシネーション」や「捏造」と呼ばれていると指摘しています^[1]。

例としては、2023年の米国の訴訟のように偽の引用を含む架空の判例^[3]から、ニュースに関する回答の中の作り上げられた細部や古くなった事実^[5]まで、さまざまなものがあります。NISTは、システムが回答を正当化するように見える作話された論理や引用を生成することもあり、それによって人々が出力を必要以上に信頼してしまうおそれがあると警告しています^[1]。

要するに、どうすれば避けられるのですか？

1. チャットボットに資料を渡し、その資料だけに基づいて答えるよう求めます^[7]。
2. 「わかりません」と答えてよいことを明示的に伝えます^[7]。
3. 主張ごとに直接の引用と出典を求め、その情報源を自分で開いて確認します^[7]。
4. どんな手法でも問題を完全には取り除けないため、重要なことはすべて、独立した信頼できる情報源で確認します^[7]。

なぜAIチャットボットは事実をでっち上げるのですか？

大規模言語モデル（LLM）は、次に来る可能性の高い単語を予測することでテキストを生成します。NISTの説明によると、作話はこの設計から自然に生じる結果です。モデルは訓練データの統計的な分布に近い出力を生成し、それは正確な場合もありますが、事実として誤っていたり、内部で矛盾していたりすることもあります^[1]。NISTは、この問題は自由形式の長い回答や、専門知識を必要とする質問で特に起こりやすいとしています^[1]。

なぜモデルは素直に「わかりません」と言わないのですか？

Adam Tauman Kalaiら（うち3人はOpenAI、1人はGeorgia Techの所属）による2025年の論文は、ハルシネーションは謎めいたものである必要はなく、二値分類における誤りとして生じると論じています^[2]。誤った記述と事実を区別できない場合、訓練中の統計的な圧力によって自然にそれが生み出されるというのです^[2]。著者たちはさらに、ほとんどのベンチマークが、正直な「わかりません」よりも自信のある推測を評価するような方法で回答を採点しているため、ハルシネーションはなくならないと付け加えています。彼らの言葉を借りれば、モデルはテストを受けるのが上手になるよう最適化されているのです^[2]。彼らが提案する解決策は、広く使われているベンチマークの採点方法を変えることです^[2]。

なぜあれほど自信ありげに聞こえるのですか？

流暢で自信に満ちた言い回しは、モデルが生成するよう学習するものの一部です。NISTは、ユーザーが誤った内容を信じてしまうときにリスクが生じ、その原因は多くの場合、回答が自信に満ちていることにあると指摘しています^[1]。したがって、口調に自信があることは正確さの証拠にはなりません。

AIチャットボットはどのくらいの頻度でハルシネーションを起こすのですか？

ハルシネーションの発生率は1つではありません。モデル、タスク、言語、誤りの数え方によって変わります。独立した研究から、特定のタスクにおける規模感がつかめます。

ニュースに関する質問

欧州放送連合（EBU）が調整し、BBCが主導した研究には、18か国の22の公共メディア組織が14の言語で参加しました^[5]。ジャーナリストたちが、ChatGPT、Copilot、Gemini、Perplexityによる3,000件を超える回答を評価しました^[5]。その結果、回答の45%に少なくとも1つの重大な問題があり、31%に情報源に関する深刻な問題があり、20%に作り上げられた細部や古い情報を含む重大な正確性の問題がありました^[5]。Geminiでは回答の76%に重大な問題がありました^[5]。EBUによると、こうした歪みは言語や地域を問わず一貫しており、これは英語以外の言語でAIを使う読者にとって重要な点です^[5]。

専門家向けの法律ツール

Stanfordの研究者たちは、LexisNexisとThomson ReutersのAI法律リサーチツールをテストし、それぞれが17%〜33%の割合でハルシネーションを起こすことを明らかにしました^[6]。これらのツールは、回答する前に文書を取得する検索拡張生成（RAG）を使っており、著者たちは、ハルシネーションをなくしたという提供者の主張は誇張されていると結論づけました^[6]。

これらの数字は、特定の時点における特定のシステムについてのものであり、新しいバージョンでは良くも悪くもなりえます。これらは、文書に基づく専門的なツールでさえ誤りを犯すことを示しています^[6]。

人々がAIのハルシネーションを信じると何が起きるのですか？

米国の裁判所に提出された架空の判例

Mata v. Avianca事件では、ChatGPTが作成した偽の引用と出典を含む、実在しない判決を提出した2人の弁護士とその法律事務所に対し、ニューヨークの連邦判事が2023年6月22日に制裁を科しました^[3]。弁護士たちは後に、引用した判決のうち6件はChatGPTが生成したもので、実在しなかったことを認めました^[3]。弁護士の1人が判例は本物かとChatGPTに尋ねたところ、ChatGPTはその判例は「確かに実在する」と答え、WestlawやLexisNexisで見つけられるとしました^[3]。P. Kevin Castel判事は、信頼できるAIツールを使うこと自体に本質的な問題はないものの、既存の規則は弁護士に提出書類の正確さを確保する門番の役割を与えていると述べ、$5,000の制裁金を科しました^[3]。

この問題はその後拡大しています。研究者Damien Charlotinが管理するデータベースは、当事者がハルシネーションによる内容に依拠していたと認定された裁判所や審判所の判断を記録しており、2026年11月2日の更新時点で2,262件を確認していました^[4]。

チャットボットが顧客にした誤った約束

2024年の判断（Moffatt v. Air Canada, 2024 BCCRT 149）で、ブリティッシュコロンビア州の民事解決審判所（Civil Resolution Tribunal）は、航空会社のウェブサイトのチャットボットが、忌引き運賃は遡って申請できると顧客に誤って示唆し、それが同社ウェブサイトの別のページの内容と矛盾していたことを受けて、Air Canadaに過失による不実表示の責任を認めました^[9]。審判所は、チャットボットを別個の存在として扱うべきだという主張を退け、情報が静的なページから来たものかチャットボットから来たものかで違いはないと述べました^[9]。

AIチャットボットからより正確な答えを得るにはどうすればよいですか？

AnthropicがClaudeモデル向けに出している開発者ガイドには、ほとんどのチャットボットに当てはまる手法がまとめられています^[7]。

1. 不確かさを認めましょう。わからない、あるいは十分な情報がないと言ってよいとモデルに伝えます。Anthropicによると、これによって誤った情報を大幅に減らせます^[7]。
2. 回答を引用に基づかせましょう。長い文書の場合は、まず一字一句そのままの引用を抜き出させ、それだけに基づいて回答させます^[7]。
3. 出典と撤回を求めましょう。すべての主張について裏付けとなる引用や情報源を求め、裏付けられない主張は削除するようモデルに指示します^[7]。
4. 知識の範囲を制限しましょう。一般的な知識ではなく、提供した文書だけを使うよう指示します^[7]。
5. 複数の回答を比較しましょう。同じ質問を2回以上実行します。出力の間の食い違いはハルシネーションの兆候である可能性があります^[7]。
6. 追加の確認を求めましょう。回答をモデルに戻し、特定の記述について検証したり詳しく説明したりするよう求めます^[7]。

自分で行うべき確認

• すべての出典を開いて確認しましょう。情報源が実在し、回答が主張している内容が書かれているかを確かめます。EBUの研究では、回答の31%に情報源に関する深刻な問題がありました^[5]。
• チャットボットに自分の回答を保証させないようにしましょう。Mata v. Avianca事件の弁護士たちはまさにそれをして、架空の判例を本物だと言われました^[3]。
• 重大な事実には一次情報源を使いましょう。公式の法律データベース、規制当局、医療の専門家などです。NISTは、作話された要約が誤った診断や治療につながりうる分野として医療を挙げています^[1]。
• 日付を確認しましょう。古い情報は、EBUが見つけた重大な正確性の問題の1つでした^[5]。

Anthropic自身のガイドも、これらの手法はハルシネーションを大幅に減らすものの、なくすわけではないと強調し、重要な情報は検証するよう勧めています^[7]。

テクノロジーでハルシネーションを自動的に検出できますか？

研究者たちは、自動的な警告サインを作ろうとしています。University of OxfordのSebastian Farquhar、Jannik Kossen、Lorenz Kuhn、Yarin Galが2024年にNatureで発表した手法の1つは、意味的エントロピー（semantic entropy）と呼ばれています^[8]。同じ質問に対する回答を複数（多くの場合5つ程度）サンプリングし、意味ごとにグループ分けして、その意味がどれだけばらついているかを測ります。ばらつきが大きければ、モデルが誤って答える可能性が高いことを示唆します^[8]。

この手法には限界があります。著者たちによると、モデルが誤った事実や推論のスタイルを訓練で身につけてしまった場合、訓練が新しい文脈に移行しない場合、そして意図的な欺瞞の場合は検出できません^[8]。毎回同じ誤った答えを自信を持って繰り返すモデルは、一貫しているように見えてしまいます。同じ論理に基づく「2回尋ねる」という単純なユーザー側の手法が、保証ではなくヒントにすぎないのはこのためです^[7][8]。

モデルに文書を参照させる検索拡張生成は役に立ちますが、万能薬ではありません。Stanfordの研究では、RAGベースの法律ツールで2桁のハルシネーション率が見つかりました^[6]。

どのプロンプトの手法が最も効果的ですか？

完璧な手法はなく、組み合わせることで最も効果を発揮します。下の表は、よく使われる手法を、それが何を狙っているのか、どこに限界があるのかという観点で比較したものです。回答を自分が提供した文書に結びつける手法は、そうしなければモデルが統計的なパターンに頼ってしまうという根本的な問題に対処するものです^[1][7]。一方、一貫性のチェックは一部の種類の誤りしか捉えられません^[8]。

事実を調べるためにAIチャットボットを使うことのメリットと限界は何ですか？

メリット

• NISTは、統計的な予測は誤りだけでなく、事実として正確で一貫した出力も生み出しうると指摘しています^[1]。
• 資料となる文書を与えれば、モデルは正確な引用を抜き出して出典を示すことができ、回答を検証可能なものにできます^[7]。

限界

• タスクによっては誤りがよく起こります。EBUの研究では、ニュースに関する回答の45%に重大な問題がありました^[5]。
• Stanfordのテストでは、専門的な法律ツールでさえ17%〜33%の割合でハルシネーションを起こしました^[6]。
• 誤りには、説得力があるが偽りの説明や出典が伴うことがあります^[1]。
• 責任はユーザーや企業に残ります。裁判所は弁護士に制裁を科し^[3]、審判所は企業にチャットボットの発言の責任を認めました^[9]。

AIのハルシネーションはいつか解決されるのでしょうか？

ハルシネーションをどこまで減らせるかは未解決の問題ですが、上で紹介した説明のいくつかは、対処可能な原因を示しています。Kalaiらが論じるように、ベンチマークが推測を評価しているのであれば、採点方法を変えることで、モデルが不確かさを表明するよう促せる可能性があります^[2]。意味的エントロピーのような検出手法は、誤りの可能性が高いものの一部に警告を出せます^[8]。しかしNISTは、作話を生成モデルの設計から自然に生じる結果と説明しており^[1]、ある程度の誤り率は残り続けることを示唆しています。

まだ不確かなこと

• 現在のモデルの実際の誤り率。公表されている研究は特定のバージョンとタスクをテストしたもので、結果はリリースごとに変わります^[5][6]。
• 繰り返される事案を裁判所がどう扱うか。Charlotinのデータベースには2026年11月2日までにすでに2,262件のそうした判断が記録されており、新たな判断が出るたびに判例が積み重なっています^[4]。
• ベンチマークの改革が広く採用されるかどうか。Kalaiの論文はこれを社会技術的な変化と呼んでいます^[2]。

2026年11月3日時点で最も安全な前提は、どのチャットボットも自信に満ちた口調で誤りうること、そして情報源を確認するのはユーザーの役目だということです。