구글 '확산 모델' 기반 차세대 언어모델 '제미나이 디퓨전' 공개: 속도와 정확성의 혁신

핵심 기술

구글 딥마인드가 이미지 생성에 사용되던 '확산(diffusion)' 방식을 언어모델에 성공적으로 접목한 실험적 확산언어모델(DLM) '제미나이 디퓨전'을 공개했습니다. 이는 기존 자기회귀(autoregressive) 방식 LLM의 속도와 정확성 한계를 극복할 차세대 기술로 주목받고 있습니다.

기술적 세부사항

• 확산(Diffusion) 방식 도입: 무작위 노이즈에서 시작하여 점진적으로 '의미 있는 문장'으로 정제(denoise)하는 과정을 통해 텍스트 생성.
• 생성 속도 향상: 블록 단위 텍스트 병렬 처리가 가능하여 기존 LLM 대비 획기적인 속도 개선. 제미나이 디퓨전은 초당 1000~2000 토큰 생성 가능 (기존 대비 최대 7배).
• 정확성 및 일관성 개선: '자기 정제(Self-correction)' 구조를 통해 생성 중 오류 수정, 환각 현상 감소 및 결과 일관성/정확성 향상.
• 적응적 계산: 과제 난이도에 따라 연산량 조절하여 효율성 극대화.
• 비인과적 추론: 문장의 앞뒷부분 동시 고려로 문맥 전후 참조하여 일관성 있는 텍스트 생성.
• 학습 과정:
  • 순방향 디퓨전: 학습 데이터에 점진적으로 노이즈를 추가하여 무작위화.
  • 역방향 디퓨전: 오염된 문장에서 노이즈를 점진적으로 제거하며 원래 상태로 복원하는 학습.
• 학습된 모델 활용: 프롬프트, 분류 라벨, 임베딩 등을 입력받아 노이즈 상태에서 구조화된 문장 생성.
• 벤치마크 결과: 코딩, 수학 영역에서 기존 모델 대비 우위, 언어/과학적 추론 영역에서는 근소하게 뒤처지나 시간/비용 측면에서 DLM의 전반적 유리함 시사.

개발 임팩트

확산 모델 기반 언어모델은 텍스트 생성 속도와 비용 효율성을 크게 개선하여 AI 기반 서비스의 확장성과 접근성을 높일 잠재력을 가지고 있습니다. 또한, 자기 정제 및 비인과적 추론 능력은 더욱 정교하고 일관성 있는 자연어 처리 응용 프로그램 개발을 가능하게 할 것입니다.

커뮤니티 반응

• 스탠포드 대학의 AI 스타트업 인셉션도 유사한 DLM 모델을 공개하며, 기존 LLM 대비 최대 10배 빠른 실행 속도와 10배 비용 절감 효과를 주장했습니다. 이는 해당 기술의 잠재력에 대한 업계의 관심을 보여줍니다.

한계점

• 세부 단어 단위의 정밀 제어에 일부 한계가 있을 수 있습니다.
• 첫 토큰 생성까지 자기회귀 방식보다 시간이 더 소요될 수 있습니다.