할루시네이션 (인공지능)

할루시네이션(영어: hallucination 또는 AI hallucination)은 인공지능, 특히 생성형 인공지능(generative AI)이나 대형 언어 모델(LLM)이 실제로 존재하지 않거나 사실이 아닌 정보를 진짜처럼 생성하는 현상을 말한다. 이 개념은 인간의 지각적 환각(hallucination)에 비유된다.

개요

AI 할루시네이션은 모델이 그럴듯하지만 사실이 아닌 정보를 자신 있게 생성하거나 제공하는 오류로, 주로 텍스트 생성, 요약, 번역, 질의응답 등 자연어 처리 과정에서 나타난다. 생성된 내용은 실제 근거 없이 만들어진 경우가 많으며, 사용자가 이를 사실로 오인할 위험이 존재한다.

원인

• 훈련 데이터의 불완전성: 오류가 포함된 데이터, 편향된 텍스트, 허구 정보 등이 학습에 포함되어 모델이 잘못된 패턴을 내재화할 수 있다.
• 확률 기반 생성 방식: 언어 모델은 가장 가능성 높은 단어 시퀀스를 예측하여 출력을 생성하기 때문에, 진위 여부를 스스로 판단하지 못한다.
• 맥락 이해 부족: 사용자의 입력을 정확히 해석하지 못하거나 질문 의도를 왜곡하여 부정확한 응답을 생성할 수 있다.
• 길이 제한과 요약 압력: 제한된 응답 길이 안에서 요약하려다 중요한 사실이 왜곡되거나 누락되는 경우도 있다.

유형

• 사실 오류(Factual errors): 존재하지 않는 사건이나 사람, 출처 등을 사실처럼 제시
• 출처 조작(Fake citations): 실제 존재하지 않는 논문, 기사, 링크 등을 인용하는 경우
• 문맥 오류(Contextual errors): 사용자의 질문이나 문맥과 어긋나는 부적절한 정보 생성
• 자가 충돌(Self-contradiction): 같은 문단 내에서 상반된 정보가 포함됨

영향

할루시네이션은 다음과 같은 부작용을 초래할 수 있다:

• 잘못된 정보 유포: 사용자나 독자가 허위 정보를 사실로 인식
• 신뢰성 저하: AI 시스템에 대한 불신 확산
• 의사결정 오류: 의료, 법률, 교육 등 고신뢰가 필요한 분야에서 심각한 결과 초래 가능
• 자동화 실패: 문서 요약, 보고서 작성 등 실무 적용에서 신뢰성 부족

대응 및 완화 방안

• RAG (인공지능): 외부 데이터베이스에서 검증된 정보를 검색한 뒤 생성 과정에 통합하여 정확성을 높이는 방법
• 응답에 불확실성 반영: "정보가 부족하다", "정확하지 않을 수 있다" 등의 표현을 학습시켜 오답을 완화
• 사용자 피드백 학습: 잘못된 응답에 대한 사용자 피드백을 바탕으로 모델을 개선
• 다중 모델 확인: 복수의 모델 혹은 에이전트를 통해 응답을 상호 검토하고 교차검증하는 방식 활용

비슷한 개념

• Confabulation: 존재하지 않는 기억을 실제처럼 보완하는 인간 인지 오류에 빗대어 AI 할루시네이션과 유사하게 설명됨
• Fabrication: 일부 연구자는 의도하지 않은 정보 왜곡을 별도로 구분하여 '조작된 생성물'로 분류하기도 함

같이 보기

• 대형 언어 모델
• Retrieval-Augmented Generation
• AI 정렬 문제
• 프롬프트 엔지니어링
• 인공지능 윤리

참고 문헌

Benj Edwards. “Why ChatGPT and Bing Chat Are So Good at Making Things Up.” *Ars Technica*, 2023 Cohen, Roi & Dobler, Konstantin. “Teaching AI to Say ‘I Don’t Know’.” *Wall Street Journal*, 2025 Diego Gosmar & Deborah A. Dahl. *Hallucination Mitigation Using Agentic AI Natural Language‑Based Frameworks*. arXiv, 2025