MultiScene360: 차세대 3D 비전 AI 학습을 위한 다중 카메라 동기화 데이터셋 소개

MultiScene360 데이터셋: 고품질 3D 비전 AI 학습을 위한 혁신

핵심 기술: 3D 디지털 휴먼, 동적 시점 생성, 영화 VFX, 4D 재구성 등 차세대 AI 기술의 발전에 따라, 기존 단일 시점 데이터셋은 한계를 드러내고 있습니다. MultiScene360 데이터셋은 이러한 요구를 충족시키기 위해 실제 환경에서 촬영된 다중 카메라 동기화 푸티지를 제공하여, AI 모델이 다중 시점 일관성을 학습하고 생성 결과의 사실성을 향상시키도록 지원합니다.

기술적 세부사항:

• 실제 환경 다중 카메라 동기화: 4대의 DJI Osmo Action 5 Pro 카메라를 정밀한 타임스탬프 동기화와 함께 사용하여 실내외 다양한 환경(실루엣, 저조도, 가려짐, 반사 등)에서 촬영되었습니다.
• 다양한 동작 및 상호작용: 걷기, 앉기, 다인 간 상호작용, 옷 입기, 통화 등 일상적인 활동과 손 움직임, 연속적인 모션, 시점 전환에 중점을 두어 상세하게 캡처했습니다.
• 최첨단 AI 작업 최적화: 카메라 경로 제어, 시점 합성, 일관된 재렌더링을 위해 설계되었으며, 3D 디지털 휴먼, 영화 캐릭터 교체, VR 장면 생성 등에 직접 적용 가능합니다.
• 연구부터 프로덕션까지 확장 가능: 초기 13개 장면(10개 핵심 + 3개 확장)과 144개 비디오(총 20-30GB)로 구성되어 있으며, 상업적 응용을 위해 6-8개의 카메라 각도로 200개 이상의 장면으로 확장 가능합니다.
• 촬영 환경: 1.5m 높이에 고정된 4대의 DJI Osmo Action 5 Pro 카메라 사용, 20-30% 시야각(FOV) 중첩을 갖는 크로스 앵글 구성으로 전체 커버리지 확보.

개발 임팩트:

• 3D 디지털 휴먼의 안면/신체 애니메이션의 교차 시점 자연스러움 향상.
• 영화 VFX에서 고품질 가상 캐릭터 시점 전환 구현.
• 시간에 따른 동적 3D 장면 모델링(예: 군중 시뮬레이션)을 위한 4D 재구성 성능 개선.
• 가상 프로덕션을 위한 자동 카메라 선택 AI 시스템 훈련 지원.

커뮤니티 반응:

• 데이터셋 샘플 무료 다운로드 및 피드백 제공 시 확장 데이터셋 접근 권한 부여.
• 확장 데이터셋 및 특수 조건에 대한 맞춤 요청 가능.

획득 방법:

• 웹사이트를 통해 기본 정보 제출 후 샘플 다운로드.
• 피드백 제공 시 무료 확장 데이터셋 접근.
• 확장 또는 맞춤 요청은 이메일 문의.