DeepSeek Sparse Attention: V3.1-Terminus 기반 실험적 모델의 효율성과 성능 향상 분석

핵심 기술: DeepSeek Sparse Attention (DSA)을 도입하여 긴 문맥 처리 효율성을 획기적으로 개선한 실험적 LLM 모델 DeepSeek-V3.2-Exp에 대한 분석.

기술적 세부사항:
* 모델 기반: V3.1-Terminus를 기반으로 개발되었으며, 차세대 아키텍처의 전 단계 모델로 간주됩니다.
* DeepSeek Sparse Attention (DSA):
* 긴 문맥에서 효율적인 추론 및 학습을 가능하게 하는 핵심 기술입니다.
* 세밀한 단위의 희소 연산을 지원하여 훈련 및 추론 효율성을 대폭 개선합니다.
* 모델 출력 품질은 기존과 유사한 수준을 유지합니다.
* 정교한 희소 어텐션을 실현하여 모델 출력 품질을 유지하면서 효율성을 높입니다.
* query, key 계산의 컴퓨팅 복잡도가 컨텍스트 창 크기에 선형적으로 늘어나지 않고 일정하게 유지되는 특징을 가집니다 (실제로는 O(L)에 가까움).
* 성능: 주요 벤치마크에서 V3.1-Terminus와 유사하거나 일부 개선된 결과를 보였으며, 특히 코딩·수학 문제 해결 및 에이전트형 툴 사용 시 성과가 확인되었습니다.
* Reasoning: MMLU-Pro (85.0 vs 85.0), AIME 2025 (88.4 vs 89.3), Codeforces (2046 vs 2121)
* Agentic Tool Use: BrowseComp (38.5 vs 40.1), SimpleQA (96.8 vs 97.1)
* 훈련 구성: V3.1-Terminus와 동일하게 맞춰 성능 비교의 신뢰성을 확보했습니다.
* 관련 커널 및 라이브러리: 연구 및 활용을 위해 TileLang, DeepGEMM, FlashMLA 등 관련 커널이 공개되었으며, HuggingFace, SGLang, vLLM 등 다양한 환경에서 바로 실행 가능합니다.
* TileLang: 연구 목적의 가독성 높은 커널 예제 제공.
* DeepGEMM: 고성능 CUDA 커널 및 인덱서 로짓 커널 공개.
* FlashMLA: Sparse attention 커널 제공.
* HuggingFace: 모델 변환 후 torchrun으로 인터랙티브 채팅 실행 가능.
* SGLang: Docker 이미지 제공 (H200, MI350, NPUs용).
* vLLM: Day-0 지원, 공식 레시피 문서 제공.
* 라이선스: MIT License 기반 공개.

개발 임팩트:
* 계산 효율성 개선 및 확장된 텍스트 시퀀스 처리 최적화를 목표로 합니다.
* 차세대 효율적 트랜스포머 아키텍처 연구와 실무 적용의 기반을 마련합니다.
* 모델의 빠른 확장과 함께 가격 하락을 동반하는 현상이 AI 보급과 지능만큼 중요하며, 무어의 법칙과 유사하게 하드웨어 세대마다 더 빠르고 저렴해질 전망입니다.

커뮤니티 반응:
* 모델의 빠른 확장과 함께 가격 하락 현상에 주목하며, 이는 AI 보급과 지능만큼 중요한 요소로 평가됩니다.
* 추론 비용이 연간 10배씩 감소하는 추세가 언급되며, 5년 내 1,000배 하락 가능성도 제기됩니다. 이는 모델 최적화, 고대역폭 메모리 공급망, 전력 인프라 투자 등 다양한 혁신 덕분입니다.
* 중국 오픈소스 모델들의 지속적인 발전과 가격 인하 흐름을 반가워하며, API 가격이 50% 인하되어 Input $0.28/M, (캐시 적중 시 $0.028/M), Output $0.42/M에 제공되는 점이 언급됩니다.
* 사용자 데이터 학습 정책 (Openrouter 표시)과 Open Router 자체의 오픈소스 여부에 대한 의문이 제기됩니다.
* 캐싱 지원 여부와 실제 활용 환경에서의 비용 효율성에 대한 논의가 활발하며, DeepSeek API가 캐싱을 지원하고 캐시 적중 시 비용이 현저히 낮아짐(10분의 1)이 강조됩니다.
* 벤치마크 성능은 거의 그대로 유지하면서 비용이 극적으로 줄어든 점이 놀라움의 대상이 됩니다.