DuckLake: DuckDB 기반의 간결하고 강력한 데이터 레이크 솔루션 소개

핵심 기술

DuckLake는 Parquet 파일과 SQL 데이터베이스를 통합하여 기존의 복잡한 레이크하우스보다 간결하고 효율적인 데이터 레이크 솔루션을 제공합니다. DuckDB를 기반으로 메타데이터 카탈로그 관리, 스냅샷, 시점 조회, 스키마 변경, 파티셔닝 등의 고급 데이터 레이크 기능을 지원합니다.

기술적 세부사항

• 솔루션 통합: 데이터 레이크와 메타데이터 카탈로그를 통합하여 간결하게 구현 가능
• 기반 기술: Parquet 파일과 SQL 데이터베이스(PostgreSQL, SQLite, MySQL, DuckDB 등)를 기반으로 동작
• 주요 기능: 스냅샷, 시점 조회(Time travel), 스키마 진화, 파티셔닝 지원
• 가벼운 스냅샷 처리: 스냅샷 개수에 제한 없이 자주 컴팩트할 필요 없이 동작 가능
• ACID 트랜잭션: 멀티 테이블 연산에 대한 동시 접근 및 트랜잭션 보장
• 성능 최적화: 필터 푸시다운을 위한 통계 활용으로 대용량 데이터셋에서도 빠른 쿼리 가능
• 멀티플레이어 DuckDB 모델: 여러 인스턴스가 동시 데이터를 읽고 쓸 수 있는 동시성 모델 지원 (기본 DuckDB 미지원 기능)
• 개념: DuckLake 포맷 사양, DuckDB 확장 기능, DuckLake 포맷으로 저장된 데이터셋을 포괄
• 라이선스: MIT 라이선스로 공개
• 데이터베이스 활용: 메타데이터 관리를 위해 PostgreSQL, SQLite, MySQL, DuckDB 사용

개발 임팩트

DuckLake는 복잡한 레이크하우스 구축 없이도 고급 데이터 레이크 기능을 활용할 수 있게 하여, 데이터 웨어하우스 구축의 진입 장벽을 낮춥니다. 또한, DuckDB의 강점을 활용한 동시성 모델은 여러 시스템 간의 데이터 처리 효율성을 크게 향상시킬 수 있습니다. 기존 Iceberg, Delta Lake 등과 비교하여 간결함과 사용 편의성을 강조하며, 데이터 생태계에서의 상호운용성을 높일 잠재력을 가지고 있습니다.

커뮤니티 반응

커뮤니티에서는 Parquet의 파티셔닝 한계(특히 시계열 데이터의 ranged partitioning)에 대한 아쉬움이 논의되었습니다. DuckLake와 같은 솔루션이 Hive 파티셔닝의 한계를 극복하고 더 간결한 파일/디렉토리 규칙을 표준화하길 바라는 의견이 있으며, Parquet footer metadata 활용, Arrow/Parquet 저수준 라이브러리 제어 등 성능 향상에 대한 논의도 활발했습니다. Iceberg나 Delta Lake의 로컬 환경에서의 사용 어려움에 대한 언급과 함께, DuckDB 생태계의 쉬운 접근성과 DuckLake의 기대감에 대한 긍정적인 반응이 많았습니다. 특히 메타데이터 관리를 위해 파일이 아닌 데이터베이스를 사용하는 DuckLake의 접근 방식에 대한 공감이 형성되었습니다.