LLM 추론 비결정성 문제 해결: 배치 불변 커널을 통한 재현성 확보 전략

LLM 추론의 비결정성 문제와 배치 불변 커널을 통한 재현성 확보

핵심 기술

LLM(대형 언어 모델) 추론에서 발생하는 비결정성(nondeterminism) 문제는 동일한 입력에도 불구하고 결과가 달라지는 현상으로, 기존에는 동시성 및 부동소수점 연산의 비결합성으로 알려졌습니다. 본 연구는 실제 원인이 배치 크기 변화에 따른 커널 내부의 계산 순서 변화에 있음을 규명하고, 배치 불변성(batch invariance)을 갖도록 커널을 구현함으로써 완전한 재현성(reproducibility)을 확보하는 방안을 제시합니다.

기술적 세부사항

• 비결정성의 오해: 동시성 및 부동소수점 연산의 비결합성이 주 원인으로 널리 알려졌으나, 실제로는 행렬곱 등 개별 연산은 동일 데이터에 대해 항상 동일한 결과를 반환함.
• 실제 원인: 배치 크기 변화에 따라 커널 내부의 연산 분할 및 합산 순서가 달라져 발생하는 비결정성이 핵심.
• 해결 방안: 모든 연산이 배치 불변성을 갖도록 구현하여 재현성 보장.
  • 데이터 병렬 연산, split reduction, 고정 크기 split 전략 등을 활용하여 주요 연산(RMSNorm, matmul, attention)에 대해 배치 불변 커널 제작.
  • FlashAttention2, FlashDecoding 등에서 쿼리 방향 병렬화, Key/Value 동시 reduction, 고정 크기 split 전략 등으로 배치 불변성 확보.
• 구현 및 검증: vLLM과 torch.Library를 활용한 배치 불변 커널 적용 데모 시연.
  • Qwen/Qwen3-235B-A22B-Instruct-2507 모델로 temperature 0 설정 시, 1000회 반복 생성에서 80가지의 다른 결과가 발생했으나, 배치 불변 커널 사용 시 1000회 모두 동일한 결과 도출.
  • 성능 저하가 있으나(기본 26초 → 개선 42초), 실용 가능한 수준 유지.
• 적용 분야: on-policy RL의 진정한 구현, 도구 호출 평가, 디버깅, AI 플랫폼에서의 모델 검증 등.

개발 임팩트

• LLM 추론 결과의 예측 가능성을 높여 다양한 AI 기반 애플리케이션의 신뢰성을 향상시킴.
• 재현성 확보를 통해 LLM 연구 및 개발 과정에서의 디버깅 효율성을 극대화하고, 복잡한 AI 시스템의 테스트 및 검증을 용이하게 함.
• 온-폴리시 RL과 같이 샘플링 및 트레이닝 간의 완벽한 결정성이 요구되는 분야의 발전을 가속화.

커뮤니티 반응

• 댓글에서는 버그 재현의 중요성, 의미론적 동등성과 결정성의 차이, AI 플랫폼 고객을 위한 검증 수단으로서의 가치 등이 언급되었습니다.
• 일부에서는 '이전 맥락' 자체가 입력이라는 점을 지적하며, LLM이 맥락을 무시하는 것이 오히려 오해라고 주장하기도 했습니다.
• JAX/XLA 관련 이슈를 통해 이미 알려진 현상이라는 점과, 특정 구현(GPT-2)에서 temperature 0 설정 시에도 epsilon 값이 사용되는 등 실제 구현상의 세부사항이 비결정성에 영향을 줄 수 있다는 의견이 있었습니다.
• 'Thinking Machines'라는 회사 이름에 대한 역사적 언급과 함께, 최근 높은 퀄리티의 블로그 스타일 연구 토론 문화에 대한 긍정적인 평가도 나타났습니다.

톤앤매너: LLM 추론의 복잡한 비결정성 문제를 깊이 파고들어, 기술적 해결책과 그 실제적 의미를 명확하고 전문적으로 제시합니다. 개발자 커뮤니티의 다양한 의견을 반영하여, 문제의 다층적인 이해를 돕습니다.