구글, LLM 답변 정확도 향상 위한 '충분한 컨텍스트' 개념 도입 및 '선택적 생성' 프레임워크 제안

핵심 기술

구글은 LLM이 질문에 정확하고 신뢰성 있는 답변을 생성하도록 지원하기 위해 '충분한 컨텍스트(Sufficient Context)'라는 새로운 개념을 제시했습니다. 이는 RAG 시스템의 한계를 극복하고 실제 기업 환경에서의 AI 애플리케이션 신뢰도를 높이는 데 기여할 것으로 기대됩니다.

기술적 세부사항

• RAG 시스템의 한계점:
  • 관련 컨텍스트가 주어져도 잘못된 답변을 자신 있게 생성하는 경우 발생.
  • 중요하지 않은 정보에 주의가 분산되어 핵심 내용을 놓치는 문제.
  • 긴 문서에서 중요 정보를 정확히 추출하지 못해 정확성과 신뢰성 저하.
• '충분한 컨텍스트' 정의:
  • 질문에 대한 정확한 답변 생성이 가능한 충분한 정보를 포함하는 컨텍스트.
  • 컨텍스트와 질문만으로도 판단 가능하여 실제 서비스 환경에 적합.
• 자동 판별 시스템:
  • LLM 기반 '분류기(autorater)' 개발하여 컨텍스트의 충분 여부 자동 판별.
  • Gemini 1.5 Pro가 단일 예시(1-shot)로 높은 정확도 및 F1 점수 기록.
• 모델 행동 분석:
  • 충분한 컨텍스트: 정답률은 높으나 '모르겠다'보다 잘못된 답변 생성 경향.
  • 불충분한 컨텍스트: '모르겠다' 답변 비율 증가하지만 환각(hallucination)도 증가.
  • 불충분 컨텍스트에서도 정답 제공 사례 존재 (사전 학습 지식 + 컨텍스트 보완).
• '선택적 생성(Selective Generation)' 제안:
  • 작은 '중재 모델(intervention model)'이 주 모델의 답변 결정.
  • 정확성과 커버리지(답변 비율) 간 균형 제어.
  • Gemini, GPT, Gemma 등 모든 LLM에 적용 가능.
  • 충분한 컨텍스트 신호 활용 시 2-10% 정답률 향상 효과.
• '모르겠다' 응답 유도 미세조정:
  • 불충분 컨텍스트에서 환각 대신 '모르겠다' 응답하도록 별도 미세조정.
  • 실제 정답 대신 "모르겠다"를 정답으로 대체한 예시로 학습.
• 선택적 생성의 한계:
  • 환각 비율 여전히 높음.
  • '모르겠다'보다 잘못된 정보 제공 빈도가 높음.
  • 정확성 및 '모르겠다' 응답 비율 균형 조절을 위한 추가 연구 필요.

개발 임팩트

본 연구는 RAG 시스템의 직접적인 개선보다는 LLM에 제공되는 컨텍스트의 품질과 충분성을 사전에 분석하는 중요성을 강조합니다. 이를 통해 AI 응용 프로그램의 답변 신뢰성을 향상시키고, 잘못된 정보 제공으로 인한 부정적인 영향을 최소화할 수 있습니다. "충분한 맥락의 비율이 80-90% 미만일 경우 검색이나 지식 기반 측면에서 개선의 여지가 많다"는 제언은 시스템 설계 시 중요한 지표가 될 수 있습니다.