简而言之
AI幻觉是指聊天机器人以笃定口吻给出的错误或编造的内容[1]。它之所以发生，是因为语言模型预测的是可能出现的文本，而其训练和评分方式又会奖励猜测[1][2]。你无法把它关掉，但让回答以来源为依据、允许模型说“我不知道”并独立核查说法，都能降低风险[7]。
要点
- NIST将幻觉称为“虚构”（confabulation）：以笃定方式呈现的错误内容，是生成式模型工作方式的自然结果[1]。
- 来自OpenAI和佐治亚理工学院的研究人员认为，模型产生幻觉的部分原因在于基准测试奖励猜测，而不是承认不确定[2]。
- 在EBU与BBC对3,000多条回答进行的研究中，AI助手对新闻问题的回答有45%至少存在一个重大问题[5]。
- 截至2026年11月2日，一个公开数据库已收录2,262起涉及AI幻觉内容的法院裁决[4]。
- 询问聊天机器人它自己的回答是否属实并不算核实；在Mata v. Avianca案中，ChatGPT坚称一个虚假的案例确实存在[3]。
- 提示词技巧能减少幻觉，但无法消除幻觉，因此关键事实仍需独立核查[7]。
本页内容 13 个部分
什么是AI幻觉？
AI幻觉是指聊天机器人或其他生成式AI系统给出的错误、编造或前后矛盾的回答，却被当作事实一样呈现出来。美国国家标准与技术研究院（NIST）使用虚构（confabulation）一词，将其定义为生成式AI系统生成并笃定地呈现错误或虚假内容的现象[1]。NIST将偏离提示词或与系统自己先前陈述相矛盾的输出也包括在内，并指出这些通常被俗称为“幻觉”或“捏造”[1]。
例子既包括2023年美国一起诉讼中那样带有虚假引文的编造案例[3]，也包括新闻回答中凭空捏造的细节和过时的事实[5]。NIST警告说，系统还可能生成看似能为答案提供依据的虚构逻辑或引用，这可能使人们对输出的信任超出应有的程度[1]。
简而言之，如何避免幻觉？
AI聊天机器人为什么会编造内容？
大语言模型（LLM）通过预测可能出现的下一个词来生成文本。NIST解释说，虚构是这种设计的自然结果：模型产生的输出近似于其训练数据的统计分布，这些输出可能是准确的，但也可能与事实不符或自相矛盾[1]。NIST表示，这一问题在开放式、长篇幅的回答以及需要专业知识的问题中尤为突出[1]。
模型为什么不直接说“我不知道”？
亚当·陶曼·卡莱（Adam Tauman Kalai）及其同事（其中三人来自OpenAI，一人来自佐治亚理工学院）在2025年的一篇论文中认为，幻觉并不神秘：它们源于二元分类中的错误[2]。如果错误的陈述无法与事实区分开来，训练过程中的统计压力自然就会产生它们[2]。作者补充说，幻觉之所以持续存在，是因为大多数基准测试的评分方式奖励笃定的猜测，而不是诚实的“我不知道”，用他们的话说，模型因此被优化成了善于应试的考生[2]。他们提出的解决办法是改变广泛使用的基准测试的评分方式[2]。
它们为什么听起来那么肯定？
流畅、自信的措辞本身就是模型学会生成的内容之一。NIST指出，当用户相信错误内容时就会产生风险，而这往往是因为回答的口吻十分笃定[1]。因此，语气上的自信并不是准确性的证据。
AI聊天机器人产生幻觉的频率有多高？
并不存在单一的幻觉率。它取决于模型、任务、语言以及错误的统计方式。独立研究可以让我们对特定任务中的规模有所了解。
新闻类问题
一项由欧洲广播联盟（EBU）协调、BBC牵头的研究，涉及18个国家的22家公共服务媒体机构，使用14种语言开展工作[5]。记者们评估了ChatGPT、Copilot、Gemini和Perplexity给出的3,000多条回答[5]。他们发现，45%的回答至少存在一个重大问题，31%存在严重的来源问题，20%包含重大的准确性问题，包括凭空捏造的细节和过时的信息[5]。Gemini有76%的回答存在重大问题[5]。EBU表示，这些失真现象在不同语言和地区之间是一致的，这对使用英语以外语言的AI用户而言很重要[5]。
专业法律工具
斯坦福大学的研究人员测试了LexisNexis和汤森路透（Thomson Reuters）的AI法律检索工具，发现每款工具产生幻觉的比例在17%到33%之间[6]。这些工具使用检索增强生成（RAG），即在回答之前先检索文档；作者的结论是，供应商声称已消除幻觉的说法言过其实[6]。
这些数字描述的是特定系统在特定时间的表现；更新的版本可能更好，也可能更差。它们表明，即使是以文档为依据的专业工具，仍然会出错[6]。
人们轻信AI幻觉会造成什么后果？
美国法庭上的虚假案例
在Mata v. Avianca案中，纽约的一名联邦法官于2023年6月22日对两名律师及其律所实施了处罚，原因是他们提交了由ChatGPT编造的、并不存在的司法意见，其中包含虚假的引文和引用[3]。这两名律师后来承认，所引用的判决中有六份由ChatGPT生成，实际上并不存在[3]。当其中一名律师询问ChatGPT某个案例是否真实时，它回答说该案例“确实存在”，并可以在Westlaw和LexisNexis上找到[3]。法官P·凯文·卡斯特尔（P. Kevin Castel）写道，使用可靠的AI工具本身并无不当，但现行规则赋予律师把关的职责，以确保其提交文件的准确性，并判处$5,000的罚款[3]。
此后这一问题愈发严重。研究人员达米安·夏洛坦（Damien Charlotin）维护的一个数据库收录了当事方被认定依赖幻觉内容的法院和仲裁庭裁决；截至2026年11月2日的更新，该数据库已收录2,262起案件[4]。
聊天机器人对客户做出的错误承诺
在2024年的一项裁决（Moffatt v. Air Canada, 2024 BCCRT 149）中，加拿大不列颠哥伦比亚省民事解决仲裁庭裁定加拿大航空（Air Canada）因过失性失实陈述承担责任。此前，该航空公司网站上的聊天机器人错误地暗示一名客户可以追溯申请丧亲优惠票价，而其网站的另一个页面却与此说法相矛盾[9]。仲裁庭驳回了应将聊天机器人视为独立实体的主张，并指出信息来自静态页面还是聊天机器人并无区别[9]。
如何从AI聊天机器人那里获得更准确的答案？
Anthropic为其Claude模型编写的开发者指南列出了一些适用于大多数聊天机器人的技巧[7]：
- 允许不确定。告诉模型它可以说自己不知道或信息不足；Anthropic表示，这可以大幅减少错误信息[7]。
- 以引文为依据作答。对于长文档，先让模型逐字摘录相关引文，再要求它只根据这些引文作答[7]。
- 要求提供出处并撤回无据之说。要求每个说法都附有支持性的引文或来源，并告诉模型删除任何无法提供依据的说法[7]。
- 限制其知识范围。指示它只使用你提供的文档，而不是其一般性知识[7]。
- 比较多个答案。把同一个问题多问几次；不同输出之间的不一致可能是幻觉的信号[7]。
- 追问核查。把答案反馈给模型，要求它核实或展开说明具体的陈述[7]。
你应该亲自做的核查
- 打开每一个引用。确认来源确实存在，且内容与回答所说一致；在EBU的研究中，31%的回答存在严重的来源问题[5]。
- 不要让聊天机器人为自己作保。Mata v. Avianca案中的律师正是这样做的，结果被告知一个虚假的案例是真的[3]。
- 对于高风险的事实，使用一手来源，例如官方法律数据库、监管机构或医疗专业人员。NIST指出，医疗保健是一个虚构的摘要可能导致误诊或错误治疗的领域[1]。
- 查看日期。过时的信息是EBU发现的重大准确性问题之一[5]。
Anthropic自己的指南强调，这些技巧能显著减少幻觉，但无法消除幻觉，并建议对关键信息进行核实[7]。
技术能否自动检测幻觉？
研究人员正在构建自动预警信号。其中一种方法由牛津大学的塞巴斯蒂安·法夸尔（Sebastian Farquhar）、扬尼克·科森（Jannik Kossen）、洛伦茨·库恩（Lorenz Kuhn）和亚林·加尔（Yarin Gal）于2024年发表在《自然》（Nature）杂志上，称为语义熵[8]。它针对同一个问题采样多个答案（通常约五个），按含义将它们分组，并衡量这些含义的分散程度；分散程度高，说明模型很可能答错[8]。
这种方法也有局限。其作者表示，它无法发现以下情况：模型在训练中学到了一套错误的事实或推理方式，训练成果无法迁移到新的情境，或者存在蓄意欺骗[8]。一个每次都笃定地重复同一个错误答案的模型，看起来会很一致。这就是为什么用户“多问一次”这一遵循同样逻辑的简单技巧，只是一个提示，而不是保证[7][8]。
检索增强生成让模型能够查阅文档，这有所帮助，但并非万灵药：斯坦福大学的研究发现，基于RAG的法律工具的幻觉率达到两位数[6]。
哪些提示词技巧最有效？
没有哪种技巧是完美的，组合使用效果最好。下表比较了常见方法、它们针对的问题以及不足之处。将答案与你提供的文档绑定的技巧，针对的是根本问题，即模型在其他情况下会依赖统计模式[1][7]；而一致性检查只能发现某些类型的错误[8]。
用AI聊天机器人查询事实有哪些好处和局限？
好处
局限
AI幻觉问题最终能解决吗？
幻觉能在多大程度上减少，目前仍是一个悬而未决的问题，但上文的一些解释指出了可以着手解决的原因。如果正如卡莱及其同事所说，基准测试奖励猜测，那么改变评分方式就可以鼓励模型表达不确定性[2]。语义熵等检测方法可以标出一些可能的错误[8]。然而，NIST将虚构描述为生成式模型设计方式的自然结果[1]，这意味着一定的错误率将会一直存在。
仍不确定的问题
- 当前模型在现实中的错误率。已发表的研究测试的是特定版本和任务，结果会随着每次发布而变化[5][6]。
- 法院将如何处理反复出现的案件。截至2026年11月2日，夏洛坦的数据库已收录2,262起此类裁决，每一起新案件都在丰富相关判例[4]。
- 基准测试改革能否被广泛采用，卡莱的论文称之为一种社会技术层面的变革[2]。
截至2026年11月3日，最稳妥的工作假设是：任何聊天机器人都可能以笃定的口吻出错，而核查来源是用户自己的责任。
常见错误
常见问题
什么是AI幻觉？
它是AI系统以笃定口吻当作事实呈现的错误或编造内容；NIST称之为虚构[1]。
哪款AI聊天机器人的幻觉最少？
排名随着每个模型版本而变化。在EBU与BBC的新闻研究中，Gemini有76%的回答存在重大问题，是其他受测助手的两倍多[5]，但这只反映了某一时间在某一项任务上的表现。
我能阻止聊天机器人产生幻觉吗？
不能完全阻止。允许不确定、以引文为依据作答和要求提供出处都能缓解这一问题，但Anthropic指出，这些方法无法将其消除[7]。
公司要为其聊天机器人说的话负责吗？
在加拿大的一起案件中，仲裁庭裁定加拿大航空要为其聊天机器人提供的错误信息负责[9]。各国规定不同；以上为一般性信息，不构成法律建议。
术语表
来源
- NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile US National Institute of Standards and Technology
- Why Language Models Hallucinate Kalai, Nachum, Vempala, Zhang (arXiv) · 2025-09-04
- Mata v. Avianca, Inc., No. 22-cv-1461 (PKC), Opinion and Order on Sanctions US District Court for the Southern District of New York (via CourtListener) · 2023-06-22
- AI Hallucination Cases database Damien Charlotin; live database, last updated 2026-11-02 · 2026-11-02
- AI's systemic distortion of news is consistent across languages and territories: international study by public service broadcasters European Broadcasting Union · 2025-10-22
- Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools Magesh, Surani, Dahl, Suzgun, Manning, Ho (Stanford; arXiv) · 2024-05-30
- Reduce hallucinations Anthropic (Claude developer documentation); retrieved 2026-11-03
- Detecting hallucinations in large language models using semantic entropy Oxford Applied and Theoretical Machine Learning Group (accompanying the Nature paper) · 2024-06-19
- Moffatt v. Air Canada: A Misrepresentation by an AI Chatbot McCarthy Tetrault (Barry Sookman) · 2024-02-19
评论
热门评论