"누구나 데이터 전문가"…데이터브릭스, '레이크플로우 디자이너' 공개
카테고리
데이터 과학/AI
서브카테고리
데이터 분석
대상자
- 비기술자, 현업 분석가, 데이터 엔지니어
- 난이도: 초보자 및 중급자 대상, 코드 작성 없이 데이터 파이프라인 구축 가능
핵심 요약
- 레이크플로우 디자이너는
드래그 앤 드롭인터페이스와자연어 기반 AI 도우미를 결합하여코드 없이데이터 파이프라인 구축 가능 - 레이크플로우는
SQL/Python기반엔드-투-엔드 데이터 처리를 지원하며,선언형 파이프라인아키텍처 적용 - 신규 커넥터(구글애널리틱스, SQL 서버 등) 추가로
다양한 데이터 소스 연동가능
섹션별 세부 요약
1. 레이크플로우 디자이너 도입
- 비전문가 대상: 기술적 배경 없이도
드래그 앤 드롭및AI 도우미를 통해 파이프라인 구축 가능 - 확장성: 데이터 엔지니어 수준의
거버넌스및유지관리성제공 - 기존 문제 해결: 노코드 도구의 한계와 엔지니어 인력 부족이라는 이분법적 문제를 해소
2. 레이크플로우 기능 강화
- 엔드-투-엔드 처리:
SQL/Python기반으로 데이터 수집, 변환, 오케스트레이션 통합 지원 - IDE 추가:
AI 기반 코드 생성,디버깅,유효성 검사기능 제공 (현재 퍼블릭 프리뷰 제공) - 데이터브릭스 어시스턴트: 기술 부서의 거버넌스 부담 없이 현업 분석가가 주도적으로 작업 가능
3. 데이터 수집 커넥터 확장
- 포인트 앤 클릭 방식으로
구글애널리틱스,SQL 서버,SFTP등 다양한 소스 연동 지원 - 확장성: 기업 내 데이터 소스 통합을 위한
다양한 커넥터추가
결론
- 실무 적용 팁: 비기술자도
레이크플로우 디자이너로 파이프라인 구축 가능, 데이터 엔지니어는AI 기반 IDE로 개발 효율성 향상 - 권장사항:
레이크플로우와레이크플로우 디자이너병행 사용으로코드 기반과노코드의 장점을 동시에 활용 가능