LLM 기반 AI 알람 자동 분석 시스템 '삥뽕이': Datadog 연동 및 Bedrock 활용 심층 분석

핵심 기술

이 콘텐츠는 시스템 운영 중 발생하는 알람의 본질을 AI, 특히 LLM을 활용하여 자동으로 분석하고 요약하며 해결 방안까지 제안하는 '삥뽕이'라는 도구의 개발 배경, 아키텍처, 핵심 구성 요소 및 구현 시 고려 사항을 상세히 설명합니다.

기술적 세부사항

• 문제 정의: 기존 알람 시스템의 한계점(알람의 본질 파악 어려움, 외부 환경에서의 분석 제약)을 명확히 제시합니다.
• 삥뽕이 목표: Slack 알람 수신 → 알람 내용 분석 → 요약 → 중요성 및 해결 방안 제안의 자동화입니다.
• 아키텍처 개요: Datadog 연동을 통한 알람 수집, Prompt를 이용한 삥뽕이 호출, Slack Event Subscription과 Lambda를 통한 SQS 발행, SQS 메시지 기반 Bedrock Agent 호출 흐름을 설명합니다.
• Bedrock Agent 구성:
  • Advisor: 문제 분석에 필요한 지표, 분석 기간, 분석 조건 등 필요한 데이터를 식별하고 반환합니다. (예: CPU 최고점 전후 5분 메트릭, 스케줄링 태스크 등)
  • Collector: Advisor가 제시한 쿼리를 기반으로 실제 메트릭을 수집하고, 필요시 데이터를 압축/요약합니다.
  • Supervisor: 수집된 데이터를 분석하고 중요성을 판단하여 사용자 친화적인 형태로 가공합니다. 특히 가시성 향상을 위한 Slack Toolkit 형태의 JSON 변환을 포함합니다.
• 알람 처리 결과 (Events): 동일 알람 스레드에 댓글 형태로 분석 결과를 게시하여 알람 처리자에게 정보를 제공합니다.
• 주요 구현 고려사항:
  • 페이지네이션: Action Group 응답 사이즈 제한 문제를 해결하기 위한 cursor 기반의 자동 페이지네이션 가이드라인을 제시합니다.
  • 시간 처리: LLM의 시간 인식 오류 문제를 해결하기 위해 getCurrentDate, convertTimeFormat 툴을 활용한 상대적 시간 표현(예: "어제 1시")의 UTC+9 타임존 기반 ISO 8601 포맷 변환 방법을 상세히 설명합니다.
  • Datadog Profile 분석: Datadog API에 Profile 관련 기능이 없을 경우, datadog-pgo 프로젝트를 참조하여 Profile 데이터를 직접 다운로드하고 분석하는 Python 코드 예제를 제시합니다. (/api/unstable 엔드포인트 사용 시 유의점 언급)
• 사용 동기: LLM 기반 Agent가 개발자가 운영 모니터링을 더 쉽고 편하게 할 수 있도록 하는 DevOps 도구로서의 가치를 강조합니다.

개발 임팩트

삥뽕이와 같은 AI 기반 자동 알람 분석 시스템을 도입함으로써, 복잡한 시스템 장애 발생 시 운영 담당자의 분석 시간과 노력을 획기적으로 단축할 수 있습니다. 알람의 근본 원인과 중요도를 신속하게 파악하여 적시적인 대응을 가능하게 하고, 시스템 가용성과 안정성을 크게 향상시킬 수 있습니다. 또한, 외부 환경에서도 신속한 문제 파악 및 대응이 가능해져 운영 효율성을 극대화할 수 있습니다.

커뮤니티 반응

(언급 없음)