Apache DolphinScheduler 3.2.0 단일 노드 배포 및 문제 해결 가이드

핵심 기술

Apache DolphinScheduler 3.2.0 버전의 단일 노드 환경에서의 상세한 배포 과정과 운영 중 발생할 수 있는 주요 기술적 문제점 및 해결 방안을 제시하는 가이드입니다.

기술적 세부사항

• 환경 설정: Java 1.8, CentOS 7.6, MySQL 5.7.22 환경에서의 배포 요구사항을 명시합니다.
• 배포 절차: DolphinScheduler 바이너리 다운로드, MySQL 데이터베이스 및 사용자 생성, dolphinscheduler_env.sh 설정 파일 수정, JDBC 드라이버 업로드, 스키마 업그레이드, 서비스 시작 및 상태 확인, 중지 방법에 대한 단계별 가이드를 제공합니다.
• 문제 해결:
  • 시간대 불일치: UI의 작업 생성 시간과 시스템 시간 불일치 문제에 대한 해결책으로 UI 내 시간대 설정을 제안합니다.
  • Standalone-server 비정상 종료 시 작업 상태 문제: t_ds_task_instance 및 t_ds_process_instance 테이블 데이터 정리 또는 워크플로우 정의 오프라인화를 통한 해결 방안을 설명합니다.
  • 로그 파일 관리: 로그 파일 크기 증가 문제에 대한 주기적인 자동 정리 스크립트 설정 방안을 안내합니다.
  • Hive JDBC 드라이버 버전 불일치: DolphinScheduler의 Hive JDBC와 HDP Hive 버전 간의 불일치로 인한 오류 발생 시, 올바른 JDBC 드라이버로 교체하는 방법을 구체적인 파일 경로와 함께 설명합니다.
  • SQL 스크립트 태스크 오류 (CREATE OR REPLACE TEMPORARY FUNCTION): Hive에서 해당 문법을 지원하지 않아 발생하는 오류에 대해 소스 코드 수정 및 관련 JAR 파일 교체를 통한 해결책을 제시합니다.
• 보안 취약점: Spring Boot Actuator의 무단 접근 및 Swagger 노출 위험에 대한 설명과 함께, 의존성 추가 및 설정 파일 수정을 통한 비활성화 방법을 상세히 안내합니다.
• 테스트 보고: 기능, 호환성, 보안 테스트 결과 및 성능 지표(처리량, 응답 시간, 동시 사용자 수, 리소스 사용률)를 표로 요약하여 제공합니다.

개발 임팩트

DolphinScheduler 3.2.0 버전의 안정적인 단일 노드 환경 구축 및 운영 능력을 향상시키고, 일반적인 배포 및 운영 과정에서 마주칠 수 있는 다양한 기술적 난관을 극복하는 데 도움을 줍니다. 또한, 잠재적인 보안 취약점을 사전에 인지하고 대응하는 방안을 제시하여 시스템의 안정성과 보안성을 강화할 수 있습니다.

커뮤니티 반응

(제시된 내용에는 커뮤니티 반응에 대한 직접적인 언급이 없습니다.)