LLM의 누락 정보 탐지 능력 한계: AbsenceBench와 Transformer의 근본적 약점 분석

핵심 기술

대형 언어 모델(LLM)의 긴 입력에서 특정 정보를 찾는 능력은 뛰어나지만, 누락된 정보를 식별하는 능력은 현저히 떨어진다는 점을 AbsenceBench라는 새로운 벤치마크를 통해 분석합니다. Transformer 기반의 attention 메커니즘이 이러한 한계를 야기하는 근본적인 원인임을 설명합니다.

기술적 세부사항

• AbsenceBench 벤치마크: 시, 숫자 시퀀스, GitHub PRs 세 가지 도메인에서 LLM의 누락 정보 탐지 능력을 평가하기 위해 고안되었습니다.
  • 원본 문서와 일부 내용이 제거된 수정본을 LLM에 제공하여 빠진 정보를 맞추도록 요구합니다.
  • 평균 맥락 길이 5K 토큰의 중간 맥락 벤치마크에 해당합니다.
• LLM 성능: 최신 모델(Claude-3.7-Sonnet 등)도 5K 토큰 맥락에서 약 69.6%의 낮은 F1-score를 기록했습니다.
  • Needle in a Haystack (NIAH) 테스트에서 초인간적인 성능을 보인 것과 대조적으로, AbsenceBench에서는 56.9%까지 성능이 급락했습니다.
  • 맥락 길이가 길어질수록, 특히 시(poetry) 영역에서 성능 하락이 두드러졌습니다.
  • inference-time compute 기능 사용 시 성능 향상은 미미하나 토큰 소모량은 증가했습니다.
  • 누락 비율이 낮을수록 오히려 성능이 저하되는 역설적인 현상도 관찰되었습니다.
• Transformer Attention의 한계:
  • Self-attention 메커니즘은 키 기반 구조로 인해 '없는 정보' 자체를 추적하기 어려워 '공백'에 효과적으로 작동하지 못합니다.
  • 누락된 부분에 플레이스홀더 문자열을 추가하면 성능이 평균 35.7% 상승하는 것으로 나타났습니다.
• 데이터셋 구성 예시:
  • 시(Poetry): Gutenberg Poetry Corpus에서 시를 선택하여 줄 단위로 누락 (예: 원본 시 일부 누락)
  • 숫자 시퀀스(Numerical Sequences): 임의 생성된 수열에서 규칙적으로 또는 확률적으로 수 누락 (예: 등차수열에서 숫자 누락)
  • GitHub PRs: 인기 오픈소스 PR의 diff 파일에서 변경된 줄 일부를 임의로 제거 (실제 코드 변경 상황 반영)
• 커뮤니티 반응 및 추가 논의:
  • 일부 사용자들은 입력에 원본과 수정본 모두 제공하는 것이므로 모델이 주의를 기울일 수 있어야 하며, 이는 학습 데이터 부족 문제일 수 있다고 주장합니다.
  • LLM의 'meta' 접근(Python 스크립트 작성 등) 허용 시 문제 해결 가능성을 제기합니다.
  • LLM이 감각 입력 기반 존재 감지는 잘하지만, 부재 감지는 어려운 구조이며, 이를 위해 강력한 세계 모델과 기대가 필요하다는 의견이 있습니다.
  • LLM의 검색 루프나 도구 없이는 회상력이 떨어지며, 도구 활용 능력의 중요성을 강조합니다.

개발 임팩트

AbsenceBench는 LLM이 정보를 '찾는 것'과 '없는 것을 파악하는 것' 사이의 근본적인 난이도 차이를 명확히 보여줍니다. 이는 LLM을 판정자(LLM-as-a-Judge) 등으로 활용할 때 신뢰성에 대한 주의를 요구하며, Transformer 아키텍처의 한계를 극복하기 위한 새로운 접근 방식의 필요성을 시사합니다. LLM의 능력을 실제 시스템에 적용할 때 예상되는 한계와 개선 방향을 제시합니다.