OTel을 대체하고 Wide Events로 관찰 플랫폼을 확장하기

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

DevOps, 데이터 분석, 인공지능

대상자

대규모 데이터 인프라 운영, 로그 분석, 관찰성(Observability) 플랫폼 설계에 관심 있는 엔지니어 및 DevOps 전문가

핵심 요약

• LogHouse는 ClickHouse Cloud 기반의 핵심 관찰 플랫폼으로, Wide Events를 통해 엔지니어링, 지원, 데이터 분석 전반에서 효율성과 가치를 제공함
• OTel과 SysEx의 조화, HyperDX 기반의 UI 확대 등으로 기술적·문화적 전환을 경험 중
• Wide Events 구조는 전통적 로그보다 저장 비용을 줄일 수 있고, 디버깅과 분석에 필요한 정보를 통합적으로 제공함

섹션별 세부 요약

1. LogHouse의 기술적 전환과 관찰 플랫폼의 진화

• LogHouse는 비용 절감을 기점으로, SysEx, OTel, HyperDX와의 조화로 기술적·문화적 전환을 경험 중
• Wide Events 기반의 고정확도 데이터 모델은 엔지니어링, 지원, 데이터 분석에 새로운 가치와 효율성을 제공

2. Wide Events의 장점과 저장 비용 문제

• Wide Events는 하나의 외부 요청에 대한 모든 정보를 통합하여 디버깅 및 분석에 유리
• ClickHouse는 컬럼 단위 압축과 빠른 쿼리 속도를 통해 JSON 파일보다 효율적인 로그 저장 및 처리 가능
• Wide Events의 저장 비용은 메트릭+트레이스+샘플 기반 로그보다 높은 경우가 많음

3. 관심도 기반 저장 정책과 로그 관리 전략

• 관심도 기반 저장 정책 도입으로 불필요한 로그 자동 삭제 가능, 저장 비용 70% 절감 가능
• 로그 전송 비용도 고려해야 하며, GIL 기반 언어에서는 OTEL 사용 시 오버헤드 과도할 수 있음
• ClickHouse는 대규모 로그 저장 및 검색에 적합한 로깅용 DB로, ElasticSearch보다 빠른 쿼리 처리 가능

4. OTel과 SysEx의 비교 및 장애 상태에서의 로그 수집

• OTel은 수동 방식으로 서비스가 정상화되지 않은 상태에서도 로그 수집 가능, SysEx은 장애 상태 시 시스템 테이블 접근 불가로 로그 수집 어려움
• ClickHouse는 대용량 인프라 운영에 필요한 리소스가 충분한 경우에만 적합

5. 데이터의 효율적 처리와 비용 최적화

• ClickHouse는 컬럼 지향 저장 및 LSM 트리 등의 기술로 필요 데이터만 읽어들여 처리 비용 절감
• 대규모 DB에는 자원 최대 활용을 위한 극한의 튜닝이 필수적
• Wide Events 구조는 정확한 데이터 정리를 통해 전통적 로그보다 저장 비용 절감 가능

결론

• Wide Events는 전통적 로그보다 저장 비용을 줄일 수 있고, 디버깅 및 분석에 유리한 구조로, LogHouse의 관찰 플랫폼 확장에 기여
• ClickHouse는 대규모 로그 저장 및 처리에 적합한 로깅용 DB로, JSON 파일보다 효율적
• 관심도 기반 저장 정책 도입을 통해 불필요한 로그 자동 삭제 및 저장 비용 절감 가능, OTel과 SysEx의 조화를 통해 장애 상태에서도 로그 수집 가능