KAIST, 추가 학습 없이 AI 이미지 생성 모델 창의성 강화 기술 개발

핵심 기술

KAIST 연구팀이 네이버 AI 연구소와 공동 연구를 통해 텍스트-이미지 생성 모델의 추가 학습 없이 내부 특징 맵을 증폭하여 창의적 생성을 강화하는 새로운 접근법을 개발했습니다.

기술적 세부사항

• 문제점: 스테이블 디퓨전과 같은 모델에서 '창의적(Creative)' 프롬프트 사용 시 원하는 결과물 얻기 어려움.
• 해결 방안: 텍스트 기반 이미지 생성 모델의 내부 특징 맵 증폭을 통해 창의적 생성 강화.
• 핵심 발견: 모델의 얕은 블록들이 창의적 생성에 중요한 역할을 하며, 특징 맵을 주파수 영역으로 변환 후 높은 주파수 영역을 증폭하면 노이즈나 작은 색깔 패턴 유발. 반대로, 얕은 블록의 낮은 주파수 영역을 증폭하여 창의적 생성을 효과적으로 강화 가능함을 입증.
• 알고리즘 제안: 생성 모델 내부 각 블록 별로 최적의 증폭 값을 자동으로 선택하는 알고리즘 개발.
• 특징:
  • 사전 학습된 모델에 추가적인 분류 데이터나 학습 없이 적용 가능.
  • 기존 모델 대비 참신성과 유용성을 모두 고려.
  • SDXL-터보의 모드 붕괴 문제 완화 및 이미지 다양성 증가 확인.
• 발표: CVPR 2024에서 발표.

개발 임팩트

개발된 알고리즘을 통해 기존 모델 대비 더욱 참신하면서도 유용성이 저하되지 않은 이미지를 생성할 수 있으며, 특히 이미지 생성 속도 향상을 목표로 하는 모델의 안정성 개선에도 기여할 수 있습니다. 학습 없이 창의성을 강화할 수 있다는 점에서 다양한 생성 모델에 쉽게 적용 가능할 것으로 기대됩니다.

커뮤니티 반응

공동 제1 저자는 이번 방법론이 "생성 모델을 새로 학습하거나 미세조정 학습하지 않고 생성 모델의 창의적인 생성을 강화하는 최초의 방법론"이라 강조하며, 학습된 모델 내부에 잠재된 창의성을 특정 맵 조작으로 강화할 수 있음을 시사했습니다.