LLM 할루시네이션의 근본 원인: 훈련 및 평가 시스템의 함정

핵심 기술

LLM의 할루시네이션(환각) 현상이 단순한 버그가 아닌, 훈련 및 평가 방식 자체의 구조적 문제에서 비롯된다는 OpenAI 논문의 핵심 내용을 분석합니다. 확률 기반 모델의 한계와 이진 분류 오류가 어떻게 환각을 조장하는지 기술적으로 설명합니다.

기술적 세부사항

• 할루시네이션의 근본 원인: LLM이 '사실'이 아닌 '훈련 데이터에 존재 가능성 높은 다음 단어'를 예측하도록 학습되는 통계적 특성.
• 이진 분류 오류와의 연관성:
  • 사전 훈련 단계: 데이터의 '싱글톤 비율' (단 한 번 등장하는 사실)과 모델의 표현 능력 한계로 인한 인식론적 불확실성이 환각을 유발.
  • 사후 훈련 단계: 정답=1, 오답=0, 모름=0 형태의 이진 채점 방식이 불확실성 인정보다 추측을 보상하여 환각을 강화.
• 사회-기술적 완화 방안:
  • Explicit Confidence Targets: 모델이 불확실할 때 답변을 유보하도록 명시적인 확신도 목표 설정.
  • 행동적 캘리브레이션: t 이상의 확신이 있을 때만 답변하고, 오류 시 감점, '모름' 시 부분 점수 부여 등 새로운 채점 체계 제안.
• Search/Reasoning의 한계: RAG와 같은 기술이 만병통치약이 아니며, 근본적인 평가 시스템 개선이 필요함을 지적.

개발 임팩트

LLM의 신뢰성 및 안전성 향상을 위한 새로운 평가 패러다임 제시. '더 똑똑한' AI가 아닌 '더 정직한' AI를 만드는 방향으로 연구 및 개발의 초점을 전환할 필요성을 강조하며, LLM 기반 서비스의 실질적인 리스크 감소에 기여할 수 있습니다.

커뮤니티 반응

OpenAI의 프레임 전환 비판이 존재하며, 논문이 자기에게 유리한 평가 방식으로 전환을 시도한다는 의견이 있음을 언급합니다.