언어 모델의 '환각' 현상, 평가 방식의 함정에 빠지다

핵심 기술

언어 모델이 사실과 다른 답변을 확신에 차서 생성하는 '환각' 현상의 주된 원인이 현재의 모델 평가 방식에 있다는 연구 결과를 분석합니다. 특히 '정답률' 중심의 평가 방식이 모델로 하여금 불확실성을 회피하고 추측을 유도하는 메커니즘을 설명합니다.

기술적 세부사항

• 환각 현상 (Hallucination): 언어 모델이 사실과 다른 잘못된 정보를 자신감 있게 생성하는 현상.
• 평가 방식의 문제점: 현재 언어 모델 평가는 주로 '정답률'에 초점을 맞춰, '모르겠다'는 답변 대신 추측을 하도록 유도.
  • 객관식 시험에서 빈칸 제출 시 0점 vs. 답을 맞춰도 가능성 있는 추측 시 부분 점수 획득 가능성 비교.
  • 'gpt-5-씽킹-미니'와 'o4-미니' 벤치마크 비교에서 높은 정확도가 높은 오류율(환각)을 동반하는 현상.
• 환각 현상의 근본 원인:
  • 데이터 학습 방식: 다음 단어 예측 기반의 사전 학습은 언어 패턴은 잘 학습하지만, 생일 등 무작위적이고 비패턴적인 데이터에는 오류 발생 가능성.
  • 평가 지표의 함정: '정답률'만 고려하는 평가는 '불확실성을 감수하는 신중한 모델'보다 '아무 말이나 하는(추측하는) 모델'에게 더 높은 점수를 부여.
• 개선 방안:
  • 불확실성보다 자신감 있는 오답에 더 큰 감점을 부여하는 방식.
  • 답이 아닐 가능성이 있다고 적절히 표현한 부분에 점수 부여.
  • 기존 벤치마크의 재작업을 통해 불확실성 표현 모델에 보상을 주는 평가 시스템 도입.
• 환각 현상의 불가피성에 대한 반박: 언어 모델이 불확실성을 표현하고 '기권'할 수 있는 선택지가 있다면 환각은 불가피하지 않음.
  • 작은 모델이 오히려 특정 질문에 대해 '모르겠다'고 답함으로써 환각을 피할 수 있음.

개발 임팩트

• 언어 모델의 신뢰성과 정확성을 향상시키기 위한 평가 방식 개선의 필요성을 강조.
• 향후 AI 모델 개발 시, 단순히 높은 정확도를 넘어 '불확실성'을 인지하고 표현하는 능력의 중요성을 부각.
• 보다 견고하고 신뢰할 수 있는 AI 서비스를 구축하는 데 기여.

커뮤니티 반응

(원문에 직접적인 커뮤니티 반응 언급은 없으나, 오픈AI의 연구 결과 발표라는 점에서 학계 및 개발자 커뮤니티에서 큰 논의를 불러일으킬 것으로 예상됨)

톤앤매너

기술적으로 정확하고 분석적이며, AI 모델 개발자 및 연구자들에게 실질적인 문제 해결 방안을 제시하는 톤앤매너를 유지합니다.