AI 환각이란? 챗봇이 사실을 지어내는 이유와 정확한 답을 얻는 방법

AI 환각이란 무엇인가요?

AI 환각은 챗봇이나 다른 생성형 AI 시스템이 내놓은 답변이 거짓이거나 지어낸 것이거나 앞뒤가 맞지 않는데도 마치 사실인 것처럼 전달되는 현상입니다. 미국 국립표준기술연구소(NIST)는 작화(confabulation)라는 용어를 쓰며, 이를 생성형 AI 시스템이 잘못되었거나 거짓인 콘텐츠를 생성하고 자신 있게 제시하는 현상으로 정의합니다^[1]. NIST는 프롬프트에서 벗어나거나 시스템이 앞서 한 말과 모순되는 출력도 여기에 포함하며, 이를 흔히 ‘환각’이나 ‘날조’라고 부른다고 설명합니다^[1].

사례는 2023년 미국의 한 소송에서처럼 가짜 인용문이 달린 지어낸 판례부터^[3], 뉴스 답변 속의 환각된 세부 정보와 낡은 사실까지 다양합니다^[5]. NIST는 시스템이 답변을 정당화하는 것처럼 보이는 작화된 논리나 인용까지 만들어 낼 수 있으며, 이 때문에 사람들이 출력을 필요 이상으로 신뢰하게 될 수 있다고 경고합니다^[1].

간단히 말해 어떻게 피할 수 있나요?

1. 챗봇에 출처 자료를 주고 그 자료만을 근거로 답하라고 요청하십시오^[7].
2. ‘모른다’고 말해도 된다고 명시적으로 허용하십시오^[7].
3. 각 주장에 대한 직접 인용과 출처를 요청한 뒤, 출처를 직접 열어 보십시오^[7].
4. 어떤 기법도 문제를 완전히 없애지 못하므로, 중요한 내용은 독립적이고 권위 있는 출처와 대조하십시오^[7].

AI 챗봇은 왜 사실을 지어낼까요?

대규모 언어 모델(LLM)은 다음에 올 가능성이 높은 단어를 예측해 텍스트를 생성합니다. NIST는 작화가 이러한 설계에서 자연스럽게 나오는 결과라고 설명합니다. 모델은 학습 데이터의 통계적 분포에 근사하는 출력을 만들어 내는데, 이 출력은 정확할 수도 있지만 사실과 다르거나 내부적으로 모순될 수도 있다는 것입니다^[1]. NIST는 이 문제가 정해진 답이 없는 긴 답변이나 전문 지식이 필요한 질문에서 특히 두드러진다고 말합니다^[1].

모델은 왜 그냥 ‘모른다’고 말하지 않을까요?

Adam Tauman Kalai 등(세 명은 OpenAI, 한 명은 Georgia Tech 소속)이 2025년에 발표한 논문은 환각이 불가사의한 현상일 필요가 없으며, 이진 분류의 오류에서 비롯된다고 주장합니다^[2]. 거짓 진술을 사실과 구별할 수 없다면 학습 과정의 통계적 압력이 자연스럽게 거짓 진술을 만들어 낸다는 것입니다^[2]. 연구진은 대부분의 벤치마크가 정직한 ‘모르겠다’보다 자신 있는 추측을 보상하는 방식으로 답변을 채점하기 때문에 환각이 지속된다고 덧붙입니다. 그들의 표현을 빌리면 모델은 시험을 잘 보도록 최적화되어 있다는 것입니다^[2]. 그들이 제안하는 해결책은 널리 쓰이는 벤치마크의 채점 방식을 바꾸는 것입니다^[2].

왜 그렇게 확신에 차 보일까요?

유창하고 확신에 찬 표현은 모델이 만들어 내도록 학습하는 것의 일부입니다. NIST는 사용자가 거짓 콘텐츠를 믿을 때 위험이 생기며, 그 원인은 흔히 답변의 확신에 찬 성격에 있다고 지적합니다^[1]. 따라서 어조에 담긴 확신은 정확성의 증거가 아닙니다.

AI 챗봇은 얼마나 자주 환각을 일으키나요?

단일한 환각률은 없습니다. 모델, 작업, 언어, 오류를 세는 방식에 따라 달라집니다. 독립적인 연구들은 특정 작업에서의 대략적인 규모를 보여 줍니다.

뉴스 관련 질문

유럽방송연합(EBU)이 조정하고 BBC가 주도한 연구에는 18개국의 공영 미디어 기관 22곳이 14개 언어로 참여했습니다^[5]. 언론인들은 ChatGPT, Copilot, Gemini, Perplexity의 답변 3,000건 이상을 평가했습니다^[5]. 그 결과 답변의 45%에 적어도 하나의 중대한 문제가 있었고, 31%는 출처 표기에 심각한 문제가 있었으며, 20%에는 환각된 세부 정보와 낡은 정보를 포함한 주요 정확성 문제가 있었습니다^[5]. Gemini는 답변의 76%에서 중대한 문제를 보였습니다^[5]. EBU는 이러한 왜곡이 언어와 지역을 가리지 않고 일관되게 나타났다고 밝히는데, 이는 영어 이외의 언어로 AI를 쓰는 독자에게 중요한 사실입니다^[5].

전문가용 법률 도구

Stanford 연구진은 LexisNexis와 Thomson Reuters의 AI 법률 리서치 도구를 시험한 결과, 각 도구가 17%에서 33%의 비율로 환각을 일으킨다는 것을 발견했습니다^[6]. 이 도구들은 답하기 전에 문서를 가져오는 검색 증강 생성(RAG)을 사용하며, 연구진은 환각을 없앴다는 제공업체들의 주장이 과장되었다고 결론지었습니다^[6].

이 수치는 특정 시점의 특정 시스템에 관한 것이며, 새 버전은 더 나을 수도 더 나쁠 수도 있습니다. 다만 문서에 근거한 전문 도구조차 여전히 오류를 낸다는 점을 보여 줍니다^[6].

사람들이 AI 환각을 믿으면 어떤 일이 벌어지나요?

미국 법정의 가짜 판례

Mata v. Avianca 사건에서 뉴욕의 한 연방 판사는 2023년 6월 22일 ChatGPT가 만든 가짜 인용문과 출처가 담긴, 존재하지 않는 판결문을 제출한 변호사 두 명과 그들의 로펌에 제재를 가했습니다^[3]. 변호사들은 이후 인용한 판결 중 여섯 건이 ChatGPT가 생성한 것으로 실제로는 존재하지 않는다고 인정했습니다^[3]. 한 변호사가 ChatGPT에게 판례가 진짜인지 묻자, ChatGPT는 그 판례가 ‘실제로 존재하며’ Westlaw와 LexisNexis에서 찾을 수 있다고 답했습니다^[3]. P. Kevin Castel 판사는 신뢰할 수 있는 AI 도구를 사용하는 것 자체에는 본질적으로 부적절한 점이 없지만, 기존 규칙은 변호사에게 제출 서류의 정확성을 보장하는 관문 역할을 부여하고 있다고 썼으며, $5,000의 벌금을 부과했습니다^[3].

이 문제는 그 뒤로 더 커졌습니다. 연구자 Damien Charlotin이 관리하는 데이터베이스는 당사자가 환각 콘텐츠에 의존한 것으로 판단된 법원 및 심판 기관의 결정을 수록하는데, 2026년 11월 2일 업데이트 기준 2,262건을 확인했습니다^[4].

챗봇이 고객에게 한 잘못된 약속

2024년 결정(Moffatt v. Air Canada, 2024 BCCRT 149)에서 캐나다 브리티시컬럼비아주 민사분쟁심판소는 Air Canada 웹사이트의 챗봇이 고객에게 유족 할인 요금을 소급해서 신청할 수 있다고 잘못 안내했는데, 이는 같은 웹사이트의 다른 페이지 내용과 모순되었다며 항공사에 과실에 의한 허위 표시 책임을 물었습니다^[9]. 심판소는 챗봇을 별개의 주체로 취급해야 한다는 주장을 받아들이지 않았으며, 정보가 정적인 페이지에서 나오든 챗봇에서 나오든 차이가 없다고 밝혔습니다^[9].

AI 챗봇에서 더 정확한 답을 얻으려면 어떻게 해야 하나요?

Anthropic의 Claude 모델용 개발자 가이드는 대부분의 챗봇에 적용할 수 있는 기법을 제시합니다^[7].

1. 불확실성을 허용하십시오. 모른다거나 정보가 충분하지 않다고 말해도 된다고 모델에 알려 주십시오. Anthropic은 이것만으로도 거짓 정보를 크게 줄일 수 있다고 말합니다^[7].
2. 답변을 인용문에 근거하게 하십시오. 긴 문서라면 모델에 먼저 원문 그대로의 인용문을 뽑게 한 뒤, 그 인용문만을 근거로 답하게 하십시오^[7].
3. 출처와 철회를 요구하십시오. 모든 주장에 뒷받침하는 인용문이나 출처를 요청하고, 뒷받침할 수 없는 주장은 삭제하라고 지시하십시오^[7].
4. 모델의 지식 범위를 제한하십시오. 일반 지식이 아니라 제공한 문서만 사용하라고 지시하십시오^[7].
5. 여러 답변을 비교하십시오. 같은 질문을 두 번 이상 해 보십시오. 출력 사이의 불일치는 환각의 신호일 수 있습니다^[7].
6. 후속 확인을 요청하십시오. 답변을 다시 입력하고 특정 진술을 검증하거나 보충하라고 요청하십시오^[7].

직접 해야 할 확인

• 모든 인용 출처를 열어 보십시오. 출처가 존재하는지, 답변이 주장하는 내용이 실제로 담겨 있는지 확인하십시오. EBU 연구에서 답변의 31%는 출처 표기에 심각한 문제가 있었습니다^[5].
• 챗봇에게 스스로를 보증하게 하지 마십시오. Mata v. Avianca 사건의 변호사들이 바로 그렇게 했다가 가짜 판례가 진짜라는 답을 들었습니다^[3].
• 중대한 사실은 1차 출처를 사용하십시오. 공식 법률 데이터베이스, 규제 기관, 의료 전문가 등이 이에 해당합니다. NIST는 작화된 요약이 잘못된 진단이나 치료로 이어질 수 있는 분야로 의료를 꼽습니다^[1].
• 날짜를 확인하십시오. 낡은 정보는 EBU가 발견한 주요 정확성 문제 중 하나였습니다^[5].

Anthropic의 가이드도 이러한 기법이 환각을 크게 줄여 주지만 없애지는 못한다고 강조하며, 중요한 정보는 검증하라고 조언합니다^[7].

기술로 환각을 자동 탐지할 수 있나요?

연구자들은 자동 경고 신호를 만들고 있습니다. University of Oxford의 Sebastian Farquhar, Jannik Kossen, Lorenz Kuhn, Yarin Gal이 2024년 Nature에 발표한 방법 중 하나는 의미 엔트로피(semantic entropy)라고 불립니다^[8]. 같은 질문에 대한 답변을 보통 다섯 개 정도 여러 번 뽑아 의미별로 묶은 뒤, 그 의미들이 얼마나 흩어져 있는지를 측정합니다. 흩어진 정도가 크면 모델이 틀린 답을 할 가능성이 높다는 뜻입니다^[8].

이 방법에는 한계가 있습니다. 연구진은 모델이 잘못된 사실이나 추론 방식을 학습한 경우, 학습한 내용이 새로운 맥락에 적용되지 않는 경우, 의도적인 기만의 경우에는 이 방법으로 잡아낼 수 없다고 말합니다^[8]. 매번 같은 오답을 자신 있게 반복하는 모델은 일관되어 보일 것입니다. 같은 논리를 따르는, 두 번 물어보는 간단한 사용자 기법이 보장이 아니라 힌트에 그치는 이유가 여기에 있습니다^[7][8].

모델이 문서를 찾아볼 수 있게 하는 검색 증강 생성은 도움이 되지만 만능 해결책은 아닙니다. Stanford 연구는 RAG 기반 법률 도구에서도 두 자릿수의 환각률을 발견했습니다^[6].

어떤 프롬프트 기법이 가장 효과적인가요?

완벽한 기법은 없으며, 여러 기법을 함께 쓸 때 가장 효과적입니다. 아래 표는 흔히 쓰이는 방법과 각각이 겨냥하는 문제, 그리고 부족한 점을 비교합니다. 답변을 사용자가 제공한 문서에 묶어 두는 기법은 모델이 그렇지 않으면 통계적 패턴에 의존한다는 근본 문제를 다루며^[1][7], 일관성 확인은 일부 유형의 오류만 잡아냅니다^[8].

사실 확인에 AI 챗봇을 쓸 때의 장점과 한계는 무엇인가요?

장점

• NIST는 통계적 예측이 오류만이 아니라 사실에 맞고 일관된 출력도 만들어 낼 수 있다고 지적합니다^[1].
• 출처 문서가 주어지면 모델은 정확한 인용문을 뽑아 출처를 밝힐 수 있어 답변을 검증 가능하게 만듭니다^[7].

한계

• 일부 작업에서는 오류가 흔합니다. EBU 연구에서 뉴스 답변의 45%에 중대한 문제가 있었습니다^[5].
• Stanford 시험에서는 전문 법률 도구조차 17%에서 33%의 비율로 환각을 일으켰습니다^[6].
• 오류에는 그럴듯하지만 거짓인 설명과 인용이 따라올 수 있습니다^[1].
• 책임은 사용자나 기업에 남습니다. 법원은 변호사들에게 제재를 가했고^[3], 한 심판 기관은 기업에 챗봇 발언에 대한 책임을 물었습니다^[9].

AI 환각은 언젠가 해결될까요?

환각을 어디까지 줄일 수 있을지는 아직 열린 질문이지만, 앞서 살펴본 설명 중 일부는 손댈 수 있는 원인을 가리킵니다. Kalai 연구진의 주장처럼 벤치마크가 추측을 보상한다면, 채점 방식을 바꾸는 것이 모델이 불확실성을 표현하도록 유도할 수 있습니다^[2]. 의미 엔트로피 같은 탐지 방법은 일부 오류 가능성을 알려 줄 수 있습니다^[8]. 그러나 NIST는 작화를 생성형 모델이 설계된 방식에서 자연스럽게 나오는 결과로 설명하며^[1], 이는 어느 정도의 오류율은 남을 것임을 시사합니다.

아직 불확실한 것

• 현재 모델의 실제 오류율. 발표된 연구는 특정 버전과 작업을 시험한 것이며, 결과는 새 버전이 나올 때마다 바뀝니다^[5][6].
• 반복되는 사례를 법원이 어떻게 다룰지. Charlotin의 데이터베이스에는 2026년 11월 2일까지 이미 이러한 결정 2,262건이 기록되었으며, 새로운 결정이 나올 때마다 판례가 쌓입니다^[4].
• 벤치마크 개혁이 널리 받아들여질지. Kalai 논문은 이를 사회기술적 변화라고 부릅니다^[2].

2026년 11월 3일 현재 가장 안전한 작업 전제는 어떤 챗봇이든 자신 있는 목소리로 틀릴 수 있으며, 출처 확인은 사용자의 몫이라는 것입니다.