AI 기반 클라우드 경고 분류 및 시각화 플랫폼: AlertInsightHub

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

DevOps

대상자

• 대상: 클라우드 엔지니어, SRE(Site Reliability Engineer)
• 난이도: 중급~고급 (DevOps 도구, AI 애널라이즈, DynamoDB 사용 경험 필요)

핵심 요약

• AI 기반 경고 분류: AI agent를 활용해 구조화된 메타데이터(service, resource, metric type) 추출
• 실시간 대시보드 시각화: React/Streamlit 기반 대시보드에서 계정/서비스/인스턴스별 경고 드릴다운 분석 가능
• Postmark 연동: Inbound Webhook을 통해 AWS SNS 등 이메일 기반 경고 자동 수집 및 처리

섹션별 세부 요약

1. 플랫폼 아키텍처

• Postmark Inbound Webhook: support@cloudcraftcurator.tech 이메일을 경고 수집 엔드포인트로 연결
• FastAPI + AI Agent: 로컬 호스팅된 AI 애널라이즈를 통해 JSON payloads 분석 및 DynamoDB에 저장
• DynamoDB (로컬): webhook_queue 테이블에서 timestamp, status 등 메타데이터 저장 및 빠른 쿼리 지원

2. 핵심 기능

• 이메일 자동 파싱: 비구조화된 이메일을 service, resource, metric type 등 구조화된 데이터로 변환
• 대시보드 기능: 계정 → 서비스 → 인스턴스 → 메트릭 단계별 드릴다운, 웹훅 상태별 차트 시각화
• DevOps 최적화: Docker 기반 로컬 개발 환경(devcontainer.json), ngrok 또는 커스텀 도메인을 통한 자가호스팅 지원

3. Postmark 연동 구현

• Inbound Webhook 엔드포인트: /api/webhook 경로에서 Postmark 이벤트(Delivered, Bounced, Opened, Clicked) 수신 및 처리
• 이벤트 큐링: DynamoDB에 웹훅 이벤트(pending, processed, error) 저장, 비동기 처리를 통한 타임아웃 방지
• 오류 처리 시스템: 실패한 웹훅 재처리(reprocessing) 기능, postmark_data 테이블에 원본 데이터 보존

결론

• 실무 적용 팁: Docker와 devcontainer.json을 활용한 로컬 개발 환경 구축, Postmark Inbound Webhook을 통한 자동 경고 수집, AI agent로 구조화된 메타데이터 추출을 통해 MTTR 단축.
• GitHub 저장소: 🔗 GitHub – AlertInsightHub에서 전체 소스코드 확인 및 커스터마이징 가능.