Галлюцинации ИИ: почему чат-боты выдумывают и как получать точные ответы

Что такое галлюцинации ИИ?

Галлюцинация ИИ — это ответ чат-бота или другой генеративной ИИ-системы, который ложен, выдуман или противоречив, но подаётся так, будто он верен. Национальный институт стандартов и технологий США (NIST) использует термин конфабуляция и определяет его как явление, при котором генеративные ИИ-системы создают и уверенно преподносят ошибочный или ложный контент ^[1]. NIST относит сюда и результаты, которые отклоняются от запроса или противоречат собственным предыдущим утверждениям системы, и отмечает, что в разговорной речи их называют «галлюцинациями» или «выдумками» ^[1].

Примеры варьируются от вымышленных судебных дел с поддельными цитатами, как в одном американском иске 2023 года ^[3], до выдуманных подробностей и устаревших фактов в ответах на новостные вопросы ^[5]. NIST предупреждает, что системы могут также выдавать сфабрикованные рассуждения или ссылки, которые будто бы обосновывают ответ, из-за чего люди могут доверять результату больше, чем следует ^[1].

Как их избежать — коротко

1. Дайте чат-боту исходные материалы и попросите отвечать только на их основе ^[7].
2. Явно разрешите ему говорить «не знаю» ^[7].
3. Требуйте прямых цитат и ссылок для каждого утверждения, а затем сами открывайте источники ^[7].
4. Сверяйте всё важное с независимым авторитетным источником, поскольку ни один приём полностью не устраняет проблему ^[7].

Почему ИИ-чат-боты выдумывают?

Большие языковые модели (LLM) генерируют текст, предсказывая вероятные следующие слова. NIST объясняет, что конфабуляции — естественный результат такой конструкции: модели выдают результаты, приближающие статистическое распределение обучающих данных, и эти результаты могут быть точными, но могут оказаться и фактически неверными или внутренне противоречивыми ^[1]. По словам NIST, проблема особенно актуальна для развёрнутых ответов в свободной форме и для вопросов, требующих специальных знаний ^[1].

Почему модели просто не говорят «не знаю»?

В статье 2025 года Адам Тауман Калаи и соавторы — трое из OpenAI и один из Georgia Tech — утверждают, что в галлюцинациях нет ничего загадочного: они возникают как ошибки бинарной классификации ^[2]. Если ложные утверждения невозможно отличить от фактов, статистическое давление в ходе обучения естественным образом их порождает ^[2]. Авторы добавляют, что галлюцинации сохраняются, потому что большинство бенчмарков оценивает ответы так, что уверенная догадка вознаграждается выше честного «не знаю», и модели, по их словам, оптимизированы быть хорошими сдающими тесты ^[2]. В качестве решения они предлагают изменить систему оценки в широко используемых бенчмарках ^[2].

Почему они звучат так уверенно?

Гладкие, уверенные формулировки — часть того, что модели учатся выдавать. NIST отмечает, что риски возникают, когда пользователи верят ложному контенту, часто именно из-за уверенного характера ответа ^[1]. Поэтому уверенный тон не служит доказательством точности.

Как часто ИИ-чат-боты галлюцинируют?

Единого показателя частоты галлюцинаций не существует. Он зависит от модели, задачи, языка и того, как считаются ошибки. Независимые исследования дают представление о масштабе для конкретных задач.

Новостные вопросы

В исследовании, которое координировал Европейский вещательный союз (EBU), а возглавила BBC, участвовали 22 общественные медиаорганизации из 18 стран, работающие на 14 языках ^[5]. Журналисты оценили более 3000 ответов ChatGPT, Copilot, Gemini и Perplexity ^[5]. Они обнаружили, что 45% ответов содержали хотя бы одну существенную проблему, 31% — серьёзные проблемы с источниками, а 20% — грубые неточности, включая выдуманные подробности и устаревшую информацию ^[5]. У Gemini существенные проблемы были в 76% ответов ^[5]. EBU подчёркивает, что эти искажения были одинаковы для разных языков и территорий, а это важно для читателей, пользующихся ИИ не на английском ^[5].

Профессиональные юридические инструменты

Исследователи из Стэнфорда протестировали ИИ-инструменты для юридических исследований от LexisNexis и Thomson Reuters и обнаружили, что каждый из них галлюцинировал в 17–33% случаев ^[6]. Эти инструменты используют генерацию с дополнением извлечёнными данными (RAG), при которой перед ответом извлекаются документы, и авторы пришли к выводу, что заявления поставщиков об устранении галлюцинаций были преувеличены ^[6].

Эти цифры описывают конкретные системы на конкретные даты; новые версии могут работать лучше или хуже. Они показывают, что даже специализированные инструменты, опирающиеся на документы, всё равно ошибаются ^[6].

Что происходит, когда люди верят галлюцинациям ИИ?

Вымышленные дела в американском суде

В деле Mata v. Avianca федеральный судья в Нью-Йорке 22 июня 2023 года наложил санкции на двух адвокатов и их фирму после того, как они представили несуществующие судебные решения с поддельными цитатами и ссылками, созданными ChatGPT ^[3]. Позже адвокаты признали, что шесть процитированных решений были сгенерированы ChatGPT и не существовали ^[3]. Когда один из адвокатов спросил ChatGPT, настоящее ли дело, тот ответил, что дело «действительно существует» и его можно найти в Westlaw и LexisNexis ^[3]. Судья П. Кевин Кастел написал, что в использовании надёжного ИИ-инструмента нет ничего неподобающего, но действующие правила возлагают на адвокатов роль контролёров, обязанных обеспечивать точность своих документов, и назначил штраф в размере 5000 $ ^[3].

С тех пор проблема только выросла. База данных, которую ведёт исследователь Дамьен Шарлотен, содержит решения судов и трибуналов, в которых было установлено, что сторона опиралась на выдуманный контент; по состоянию на её обновление 2 ноября 2026 года в ней было выявлено 2262 таких дела ^[4].

Ошибочное обещание чат-бота клиенту

В решении 2024 года (Moffatt v. Air Canada, 2024 BCCRT 149) Трибунал по гражданским спорам Британской Колумбии признал Air Canada ответственной за небрежное введение в заблуждение после того, как чат-бот на сайте авиакомпании ошибочно сообщил клиенту, что тот может задним числом оформить льготный тариф в связи с утратой близкого, — что противоречило другой странице того же сайта ^[9]. Трибунал отклонил довод о том, что чат-бот следует рассматривать как отдельное лицо, указав, что не имеет значения, исходит ли информация со статической страницы или от чат-бота ^[9].

Как получать от ИИ-чат-ботов более точные ответы?

Руководство Anthropic для разработчиков, работающих с моделями Claude, описывает приёмы, применимые к большинству чат-ботов ^[7]:

1. Допускайте неуверенность. Скажите модели, что она может признать, что не знает ответа или что ей не хватает информации; по словам Anthropic, это может резко сократить количество ложной информации ^[7].
2. Опирайте ответы на цитаты. Для длинных документов попросите модель сначала дословно извлечь цитаты, а затем строить ответ только на них ^[7].
3. Требуйте ссылок и отзыва утверждений. Просите подтверждающую цитату или источник для каждого утверждения и велите модели убирать любое утверждение, которое она не может подкрепить ^[7].
4. Ограничивайте её знания. Поручите ей использовать только предоставленные вами документы, а не общие знания ^[7].
5. Сравнивайте несколько ответов. Задайте один и тот же вопрос несколько раз; расхождения между ответами могут указывать на галлюцинацию ^[7].
6. Задавайте проверочные вопросы. Верните модели её ответ и попросите проверить или раскрыть конкретные утверждения ^[7].

Проверки, которые нужно сделать самому

• Открывайте каждую ссылку. Убедитесь, что источник существует и говорит то, что утверждается в ответе; в исследовании EBU у 31% ответов были серьёзные проблемы с источниками ^[5].
• Не просите чат-бота ручаться за самого себя. Адвокаты в деле Mata v. Avianca поступили именно так, и им сказали, что вымышленное дело настоящее ^[3].
• Для фактов с высокими ставками используйте первоисточники — официальные юридические базы данных, регуляторов или медицинских специалистов. NIST выделяет здравоохранение как область, где сфабрикованные сводки могут привести к ошибочным диагнозам или лечению ^[1].
• Проверяйте дату. Устаревшая информация была среди грубых неточностей, выявленных EBU ^[5].

В собственном руководстве Anthropic подчёркивается, что эти приёмы значительно снижают число галлюцинаций, но не устраняют их, и рекомендуется проверять критически важную информацию ^[7].

Может ли техника автоматически обнаруживать галлюцинации?

Исследователи создают автоматические предупреждающие сигналы. Один из подходов, опубликованный в Nature в 2024 году Себастьяном Фаркуаром, Янником Коссеном, Лоренцем Куном и Ярином Галем из Оксфордского университета, называется семантической энтропией ^[8]. Метод получает несколько ответов на один и тот же вопрос — часто около пяти, — группирует их по смыслу и измеряет, насколько разбросаны эти смыслы; большой разброс указывает на то, что модель, скорее всего, ответит неверно ^[8].

У метода есть ограничения. Авторы указывают, что он не выявит случаи, когда модель обучили неверному набору фактов или способу рассуждения, случаи, когда обучение не переносится на новый контекст, а также преднамеренный обман ^[8]. Модель, которая каждый раз уверенно повторяет один и тот же неверный ответ, будет выглядеть последовательной. Поэтому простой пользовательский приём — задать вопрос дважды, — основанный на той же логике, служит подсказкой, а не гарантией ^[7][8].

Генерация с дополнением извлечёнными данными, позволяющая модели обращаться к документам, помогает, но не лечит: стэнфордское исследование выявило двузначную долю галлюцинаций у юридических инструментов на основе RAG ^[6].

Какие приёмы составления промптов работают лучше всего?

Идеального приёма нет, и лучше всего они работают в сочетании. В таблице ниже сравниваются распространённые подходы: на что они направлены и в чём их слабые места. Приёмы, привязывающие ответы к предоставленным вами документам, устраняют коренную проблему — то, что иначе модели опираются на статистические закономерности ^[1][7], а проверки согласованности выявляют лишь некоторые виды ошибок ^[8].

Каковы преимущества и ограничения ИИ-чат-ботов как источника фактов?

Преимущества

• NIST отмечает, что статистическое предсказание может давать фактически точные и согласованные результаты, а не только ошибки ^[1].
• Получив исходные документы, модели могут извлекать и приводить точные цитаты, что делает их ответы проверяемыми ^[7].

Ограничения

• В некоторых задачах ошибки распространены: в исследовании EBU у 45% ответов на новостные вопросы была существенная проблема ^[5].
• Даже специализированные юридические инструменты в тестах Стэнфорда галлюцинировали в 17–33% случаев ^[6].
• Ошибки могут сопровождаться убедительными, но ложными объяснениями и ссылками ^[1].
• Ответственность остаётся за пользователем или компанией: суды налагали санкции на адвокатов ^[3], а трибунал признал компанию ответственной за заявления её чат-бота ^[9].

Будет ли проблема галлюцинаций ИИ когда-нибудь решена?

Насколько можно сократить галлюцинации — открытый вопрос, но некоторые из приведённых выше объяснений указывают на причины, с которыми можно работать. Если, как утверждают Калаи и соавторы, бенчмарки поощряют угадывание, изменение их системы оценки может побудить модели выражать неуверенность ^[2]. Методы обнаружения, такие как семантическая энтропия, способны помечать часть вероятных ошибок ^[8]. Однако NIST описывает конфабуляцию как естественное следствие устройства генеративных моделей ^[1], а это означает, что какая-то доля ошибок сохранится.

Что остаётся неясным

• Реальная доля ошибок у нынешних моделей. Опубликованные исследования проверяют конкретные версии и задачи, а результаты меняются с каждым выпуском ^[5][6].
• Как суды будут относиться к повторяющимся случаям. К 2 ноября 2026 года в базе данных Шарлотена было зарегистрировано уже 2262 таких решения, и каждое новое пополняет судебную практику ^[4].
• Будут ли реформы бенчмарков приняты повсеместно — статья Калаи называет это социотехническим изменением ^[2].

По состоянию на 3 ноября 2026 года самое безопасное рабочее допущение таково: любой чат-бот может уверенным тоном ошибаться, а проверять источник — задача пользователя.