데이터브릭스, 노코드 AI 기반 데이터 파이프라인 구축 도구 '레이크플로우 디자이너' 공개

핵심 기술

데이터브릭스가 비전문가도 운영 환경 수준의 데이터 처리가 가능한 노코드 시각화 도구 '레이크플로우 디자이너'를 출시하여 데이터 파이프라인 구축의 복잡성을 해소합니다.

기술적 세부사항

• 레이크플로우 디자이너: 드래그 앤 드롭 인터페이스와 자연어 기반 생성형 AI 도우미를 결합하여 코딩 없이 데이터 파이프라인 구축 가능.
• 기능: 데이터 엔지니어 수준의 확장성, 거버넌스, 유지관리성 제공.
• 이중 구조 문제 해소: 노코드 도구의 한계 또는 엔지니어 부족 문제를 해결하는 대안 제시.
• 통합 기능: 데이터브릭스 어시스턴트, 유니티 카탈로그 기능 포함.
• 레이크플로우 정식 출시: 선언형 파이프라인 기반으로 SQL 또는 Python으로 데이터 수집부터 변환, 오케스트레이션까지 지원.
• 통합 개발 환경(IDE): AI 기반 코드 생성, 디버깅, 유효성 검사 기능 제공 (퍼블릭 프리뷰).
• 데이터 수집 커넥터 확장: 구글애널리틱스, 서비스나우, SQL 서버 등 다양한 소스 연동을 위한 포인트 앤 클릭 방식 커넥터 추가.

개발 임팩트

• 기술적 배경이 없는 사용자도 손쉽게 데이터 파이프라인 구축 및 운영 환경 수준의 데이터 처리 가능.
• 현업 분석가가 기술 부서의 거버넌스 부담 없이 주도적으로 문제 해결.
• 데이터 파이프라인 구축 속도 향상 및 개발 생산성 증대.

커뮤니티 반응

(원문에 커뮤니티 반응에 대한 언급은 없습니다.)