VibeVoice: 90분 장시간/다화자 음성 합성을 위한 차세대 TTS 프레임워크

핵심 기술: VibeVoice는 7.5Hz 초저 프레임레이트 연속 음성 토크나이저와 Next-Token Diffusion 방식을 결합하여 최대 90분 길이의 장시간, 최대 4명 화자의 자연스러운 다화자 대화 음성 합성을 지원하는 차세대 TTS 프레임워크입니다.

기술적 세부사항:
* 장시간 및 다화자 지원: 기존 1~2명 한계 모델을 넘어 최대 90분 길이 음성, 최대 4명 화자 동시 합성 가능.
* 초저 프레임레이트 연속 음성 토크나이저: 7.5Hz 프레임레이트의 Acoustic/Semantic 토크나이저를 활용하여 긴 오디오 시퀀스를 효율적으로 처리하고 음질 유지.
* Next-Token Diffusion: LLM이 텍스트 맥락과 대화 흐름을 이해하고 Diffusion head가 고해상도 음향 디테일을 생성하여 자연스러운 음성 구현.
* 효율적인 압축: 기존 Encodec 대비 80배 높은 압축률을 제공하는 새로운 연속형 음성 토크나이저 도입.
* 성능: 1시간 분량 대화 데이터셋 평가에서 WER, SIM, MOS 측정 결과, 최고 성능 기록. Gemini 2.5 Pro, ElevenLabs v3 등 최신 모델 대비 우수.
* 주요 강점: 음성 클로닝 기능.

개발 임팩트:
* 팟캐스트와 같은 장편·다화자 대화 음성 합성을 지원하여 콘텐츠 제작 생산성 향상.
* 기존 TTS 모델의 확장성, 화자 일관성, 자연스러운 턴 전환 한계점을 해결.
* 보다 자연스럽고 사람 같은 음성 합성 품질 제공.

커뮤니티 반응:
* 대부분의 사용자는 모델의 사실성을 칭찬하며 높은 기대를 보였으나, 일부 사용자는 억양의 어색함과 기계적인 느낌을 지적.
* 영어-중국어 전환 샘플의 자연스러움에 대한 긍정적 평가와 함께, 여성 음성이 남성 음성보다 훨씬 자연스럽다는 의견이 다수.
* 노래 샘플의 품질에 대한 부정적인 의견과 함께, 배경음악 제거에 대한 개발팀의 접근 방식에 대한 의문 제기.
* GPU 성능 요구사항 및 텍스트 주석을 통한 세밀한 제어 기능 부재에 대한 언급.
* macOS의 기본 TTS와의 비교를 통해 AI 열풍에 대한 비판적 시각도 존재.

톤앤매너: 전문적이고 객관적인 기술 분석을 제공하며, 커뮤니티의 다양한 피드백을 균형 있게 포함하여 기술의 장단점을 명확히 전달합니다.