Apache Zeppelin과 Presto로 실시간 데이터 분석 및 시각화 가이드
AI Store에서 AI코딩으로 만들어진 앱을 만나보세요!
지금 바로 방문하기

Apache Zeppelin을 사용하여 Presto 쿼리 시각화: 실습 가이드

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

데이터 분석

대상자

  • *데이터 엔지니어, 데이터 과학자, 개발자**

- 난이도: 중간 (Presto와 Zeppelin 연동 설정 경험 필요)

- 기본 기술: JDK 설치, 터미널 사용, SQL 기초 이해

핵심 요약

  • Apache Zeppelin 0.11.2는 JDK 1.8과 호환되며, Presto와 연동하여 실시간 데이터 분석 및 시각화 가능
  • Presto JDBC 드라이버( com.facebook.presto.jdbc.PrestoDriver ) 설치 후 인터프리터 설정으로 Presto 연결
  • Zeppelin 포트 변경(기본 8080 → 8888) 및 Hadoop/Spark 비활성화로 설정 최적화

섹션별 세부 요약

1. 설치 전 요구사항

  • JDK 1.8 (151+) 또는 Open JDK 설치 필요
  • Apache Zeppelin 0.11.2 사용 권장 (JDK 11 사용 시 최신 버전 설치)
  • Presto 서버가 이미 실행 중인 경우 Zeppelin 포트를 8888으로 변경

2. Apache Zeppelin 설치

  • tgz 파일 다운로드 후 tar -xvzf 명령어로 압축 해제
  • zeppelin-0.11.2-bin-all 디렉토리 생성 확인
  • zeppelin-env.sh 파일에 export USE_HADOOP=false 추가하여 Hadoop 비활성화

3. Zeppelin 설정 변경

  • zeppelin-site.xml 파일에서 포트 설정 변경:

```xml

zeppelin.server.port

8888

```

  • 설정 변경 후 zeppelin-daemon.sh restart 명령어로 재시작

4. Presto JDBC 드라이버 설치

  • presto-jdbc-0.291.jar 파일 다운로드
  • 파일 경로: zeppelin-0.11.2-bin-all/interpreter/jdbc/에 복사
  • Zeppelin 재시작으로 드라이버 로드

5. Presto 인터프리터 구성

  • Zeppelin 웹 UI(localhost:8888)에서 Interpreter 탭 열기
  • presto 인터프리터 생성:

```properties

default.url=jdbc:presto://localhost:8080/mysql/default

default.user=presto

default.driver=com.facebook.presto.jdbc.PrestoDriver

```

  • 설정 저장 후 Zeppelin 재시작

6. SQL 쿼리 실행 및 시각화

  • Notebook 생성 후 %presto 명령어로 연결
  • 예시 쿼리:

```sql

%presto

SHOW CATALOGS;

```

  • 실행 결과는 Zeppelin 내부에서 실시간 시각화 가능

결론

- Presto + Zeppelin 연동 시 데이터 분석 효율성 극대화 가능

- 포트 충돌 방지Hadoop 비활성화로 성능 최적화

- JDBC 드라이버 설치인터프리터 설정이 필수 단계로, 설정 오류 시 연결 실패 발생 가능