KubeCon 세션 추천을 위한 AI 기반 스케줄링 도구 KubeAround 구축 및 아키텍처 분석

핵심 기술

KubeAround는 KubeCon과 같은 대규모 컨퍼런스에서 AI를 활용하여 사용자 맞춤형 세션 추천 및 스케줄링을 제공하는 혁신적인 도구입니다. 이는 엣지 컴퓨팅, WebAssembly(Wasm), 검색 증강 생성(RAG) 패턴, 다양한 LLM 및 데이터베이스를 통합하여 빠르고 안전하며 효율적인 사용자 경험을 제공하는 것을 목표로 합니다.

기술적 세부사항

• Frontend 및 Edge-API: Fermyon Wasm Functions를 통해 전역적으로 배포되어 낮은 지연 시간과 빠른 콘텐츠 전송을 제공합니다. Vue.js 기반의 프론트엔드는 사용자 입력(음성/텍스트) 캡처, Edge-API로의 전송, 추천 결과 스트리밍, LLM A/B 테스트 기능을 담당합니다. Edge-API는 음성-텍스트 변환(Open-Whisper), 캐싱(Fermyon Key-Value Store), 중앙 API 연동을 수행합니다.
• 중앙 API (RAG 서비스): Akamai App Platform에서 실행되며, RAG 패턴을 구현합니다. 사용자 쿼리를 임베딩하고, Turso 벡터 데이터베이스에서 관련 세션을 검색하며, LLM(Llama 3.2, DeepSeek)을 통해 개인화된 추천 응답을 생성합니다. Fermyon Cloud의 임베딩 모델과 GPU 지원 Linode 인스턴스가 활용됩니다.
• 데이터 저장소 및 캐싱: Turso 벡터 데이터베이스는 세션 정보를 저장하고, Fermyon Wasm Functions Key-Value Store 및 Akamai App Platform의 Valkey를 통한 다층 캐싱 전략으로 응답 속도를 향상시킵니다.
• 배포: Fermyon Wasm Functions의 spin aka 플러그인을 사용하여 애플리케이션을 OCI 레지스트리에 패키징하고 전역적으로 배포합니다.
• 보안: Fermyon Wasm Functions의 기능 기반 보안 모델은 컴포넌트 접근을 제한하여 보안을 강화합니다.

개발 임팩트

KubeAround는 AI와 엣지 컴퓨팅 기술을 결합하여 컨퍼런스 경험을 크게 향상시킬 수 있음을 보여줍니다. RAG 패턴의 효율적인 적용, 다계층 캐싱 전략, Wasm의 이식성과 성능은 유사한 서비스를 구축하는 데 valuable한 참고 자료가 됩니다. 또한, 다양한 기술 스택(Vue.js, Typescript, Wasm, 다양한 AI 모델)의 통합 사례를 제공합니다.

커뮤니티 반응

(원문에서 직접적인 커뮤니티 반응에 대한 언급은 없습니다.)