Discord의 실시간 채팅 아키텍처: 이벤트 소싱과 최적화를 통한 수백만 메시지 초당 처리 비결

핵심 기술

Discord는 초당 수백만 메시지를 처리하는 실시간 채팅 시스템을 이벤트 소싱과 정교한 최적화 기법을 통해 구현합니다. 메시지 수정/삭제 문제, 대규모 데이터 검색의 어려움, 샤딩의 일관성 문제를 해결하며 사용자 경험을 극대화합니다.

기술적 세부사항

• 이벤트로서의 메시지: 각 메시지는 고유한 event_id를 가지는 이벤트로 취급됩니다. (예: 메시지 전송, 삭제 이벤트)
• 불변성(Immutability): 이벤트는 수정되거나 삭제되지 않고, 대신 변경 사항(수정/삭제)을 나타내는 새로운 이벤트가 추가됩니다.
• 프로젝션(Projections): 실시간 보기(View)를 위해 데이터를 변환하고 집계하는 방식입니다.
  • 채널 뷰: channel_id로 메시지를 타임스탬프 순으로 조회합니다.
  • 사용자 검색: content 필드를 위한 Elasticsearch 인덱스를 활용합니다.
• 데이터 계층화(Hot/Cold Data):
  • 핫 데이터 (최근 메시지): 낮은 지연 시간의 읽기 성능을 위해 Cassandra를 사용합니다.
  • 콜드 데이터 (오래된 메시지): 비용 효율성을 위해 S3 + RocksDB를 활용합니다.
• 최적화 기법:
  • 데이터 압축 및 컬럼 형식: 오래된 데이터는 압축된 컬럼 형식으로 저장하여 비용 효율성을 높입니다.
  • 스냅샷(Snapshotting): 채널 상태의 일일 스냅샷을 저장하고, 새 이벤트는 스냅샷 이후의 이벤트만 다시 재생하여 채널 로딩 속도를 획기적으로 개선합니다. (10K 메시지 로딩 시 5초 → 50ms)
  • 이벤트 청크(Chunking): 이벤트를 5분 단위로 그룹화하여 병렬 처리 및 효율적인 압축을 지원합니다.
• 소프트 삭제 및 필터링: 삭제 이벤트는 새로운 이벤트를 생성하고, 프로젝션 단계에서 deleted = false 조건으로 필터링합니다.
• 데이터 영구 삭제 (Purge): 법적 요구사항 준수를 위해 익명화(user_id, content 재명명) 또는 콜드 스토리지에서 오래된 청크를 삭제하는 방식으로 데이터를 관리합니다.

개발 임팩트

• 불변 이벤트 기반 설계는 감사 추적, 디버깅, 시스템 복구에 유리합니다.
• 데이터 계층화와 스냅샷/청크 기법은 비용 효율성과 성능을 동시에 만족시킵니다.
• 미래의 데이터 규제(GDPR 등)에 대비하여 설계 초기부터 삭제 및 익명화 방안을 고려하는 것이 중요합니다.
• 필요에 따라 점진적으로 이벤트 소싱을 도입하고 확장할 수 있습니다.

커뮤니티 반응

(본문에서 직접적인 커뮤니티 반응은 언급되지 않았습니다. 그러나 이 내용은 개발자 커뮤니티에서 뜨거운 관심사를 보일 주제입니다.)