Databricks News: Data + AI Summit 2025 주요 발표 요약

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

데이터 분석

대상자

데이터/인공지능 전문가, 데이터 엔지니어, 클라우드 기술자 및 기업 데이터 관리자

핵심 요약

• Databricks Lakeflow 출시: Zerobus API를 통해 실시간 이벤트 데이터 처리 가능
• Unity Catalog 업데이트: Attribute-Based Access Control (ABAC), Tag Policies로 데이터 거버넌스 강화
• Spark Declarative Pipelines 도입: 선언형 데이터 파이프라인 개발로 생산성 향상
• MLflow 3.0: AI 모델 실험 및 관리 프로세스 개선
• Lakebase 개념 공개: 분석 및 트랜잭션 데이터 통합 관리

섹션별 세부 요약

1. Databricks Lakeflow 및 Zerobus

• Lakeflow는 데이터 수집, 변환, 오케스트레이션을 통합한 솔루션
• Zerobus API는 고 처리량, 저 지연의 실시간 이벤트 데이터 처리 지원
• 기업 애플리케이션, 데이터베이스, 웨어하우스와의 연동 가능

2. Unity Catalog의 데이터 거버넌스 강화

• ABAC 정책: AWS, Azure, GCP에서 태그 기반 접근 제어 (베타)
• Tag Policies: 데이터 분류 및 사용 일관성 강화 (베타)
• Clean Rooms 기능: 데이터 공유 시 개인정보 보호 및 보안 유지

3. Apache Iceberg 지원 확대

• Apache Iceberg™ 완전 지원으로 개방형 데이터 관리 확장
• 다양한 도구 및 플랫폼과의 통합 용이

4. Spark Declarative Pipelines

• 선언형, 확장 가능, 개방형 데이터 파이프라인 개발 방식
• 데이터 엔지니어링 팀의 생산성 및 표준화 향상

5. Databricks SQL 일반 출시 및 무료 에디션

• Databricks SQL 일반 출시, 무료 에디션 제공
• 모든 규모 기업의 고급 분석 자원 접근 확대

6. MLflow 3.0

• 실험 관리, 모델 추적, 거버넌스 기능 개선
• Databricks 생태계 내 ML 프로젝트 라이프사이클 통합

7. Mosaic AI의 Agent Bricks

• Agent Bricks 사용으로 자가 최적화 에이전트 개발 가속
• 기업 데이터 기반 생성형 AI 및 자율 에이전트 실용화 촉진

8. Lakebase 개념 공개

• 트랜잭션 및 분석 데이터 통합 관리 환경 제공
• 운영 효율성 향상 및 인사이트 가속화

9. Azure Databricks Power Platform 커넥터

• Power Apps, Power Automate, Copilot Studio와 실시간 데이터 접근
• 데이터 플랫폼과 생산성 도구 간 통합 확대

결론

• Zerobus, ABAC, Spark Declarative Pipelines 등 핵심 기능 도입으로 데이터/AI 워크플로우 혁신
• MLflow 3.0, Lakebase 등은 기업의 데이터 거버넌스 및 분석 효율성 향상에 기여
• 무료 SQL 에디션 확대 및 Azure 커넥터는 개발자 및 기업의 접근성 향상에 긍정적 영향을 미침