Discord의 Kubernetes 기반 Elasticsearch 재설계를 통한 메시지 인덱싱 성능 및 안정성 혁신

핵심 기술: Discord는 기존 Elasticsearch 기반 검색 인프라의 한계를 극복하기 위해 전체 아키텍처를 Kubernetes 기반으로 재설계하여 메시지 인덱싱 성능과 안정성을 획기적으로 개선했습니다.

기술적 세부사항:

• 아키텍처 재설계: Kubernetes 기반으로 전체 구조를 재설계하여 인프라 확장성 및 관리 효율성을 높였습니다.
• 메시지 큐 개선: 기존 Redis 큐의 메시지 유실 위험을 PubSub로 대체하여 안정적인 메시지 전달을 보장하고, 클러스터/인덱스 단위로 메시지를 분류하여 효율적인 처리를 지원합니다.
• 셀(Cell) 아키텍처 도입: 다수의 소형 Elasticsearch 클러스터를 '셀' 단위로 분산하여 단일 노드 과부하 및 업데이트 불가 문제를 해결했습니다.
• 데이터 분리 인덱싱: 개인 DM 메시지와 서버(guild) 메시지를 별도 셀에 인덱싱하여, 새로 도입된 DM 전체 검색 기능의 기반을 마련했습니다.
• 대규모 커뮤니티(BFGs) 처리: 초대형 커뮤니티는 전용 셀과 다중 샤드 인덱스를 통해 Lucene의 최대 메시지 수(20억) 제한을 초과하는 스케일링을 가능하게 했습니다.
• 운영 자동화: Elastic Kubernetes Operator(ECK)를 활용하여 Elasticsearch 클러스터 운영 자동화를 구현했으며, 이를 통해 롤링 재시작, OS 및 소프트웨어 업그레이드를 안전하게 수행합니다.
• 클러스터 및 인덱스 관리: 각 셀 내 인덱스 수를 제한하고, 샤드 크기를 50GB 및 2억 메시지 이내로 유지하여 인덱싱 및 쿼리 성능을 향상시키고 클러스터 상태 유지 부담을 줄였습니다.
• DM 전체 검색 기능 구현: 사용자별 인덱스로 DM 메시지를 이중 인덱싱하여, 기존의 채널 단위 인덱싱 방식의 비효율성을 개선하고 모든 DM의 동시 검색을 가능하게 했습니다.
• 대형 커뮤니티 스케일링: Lucene 메시지 수 제한을 초과하는 초대형 커뮤니티를 위해 다중 샤드 인덱스를 도입했으며, 전용 Elasticsearch 셀에서 다중 primary shard 구조로 처리합니다.
• 이중 인덱싱 및 점진적 전환: 기존 인덱스와 새로운 인덱스에 동시에 이중 인덱싱한 후, 점진적으로 쿼리 대상을 전환하는 전략을 사용했습니다.
• Rust tokio 활용: Rust의 tokio task와 channel을 사용하여 메시지 분산 처리 구조를 구현했습니다.

개발 임팩트:

• 메시지 유실 위험 감소 및 안정적인 메시지 전달 보장.
• Elasticsearch 노드 장애 시 전체 인덱싱 실패율 감소 (기존 40% → 개선).
• Lucene의 메시지 수 제한 문제 해결 및 대규모 데이터 처리 능력 확보.
• Log4shell 패치와 같은 시스템 업데이트를 위한 전체 시스템 오프라인 필요성 감소.
• 인덱싱 및 쿼리 성능 2배 향상 (수조 개 메시지 인덱싱).
• 클러스터 운영 및 유지보수 용이성 증대.

커뮤니티 반응:

• 대규모 시스템에서 발생하는 확장성 및 안정성 문제를 Kubernetes와 Elasticsearch를 통해 해결한 사례는 많은 개발자들에게 영감을 주고 있습니다. 특히 메시지 큐 안정성 확보와 아키텍처 분산화 전략은 중요한 시사점을 제공합니다.