텐센트가 새 오픈 소스 언어 모델 Hunyuan-A13B-Instruct를 출시하다

프로그래밍/소프트웨어 개발

인공지능

대상자

- 인공지능 개발자, 연구자, 그리고 기술 테스트를 수행하는 엔지니어

- 중급 이상의 기술 수준을 가진 사용자에게 적합

- GPU 및 PyTorch 환경에 익숙한 사용자에게 도움이 됨

핵심 요약

• Hunyuan-A13B-Instruct는 총 800억 개의 파라미터를 가진 Mixture-of-Experts(MoE) 구조를 채택한 모델로, 활성화된 파라미터는 130억 개
• 256,000 토큰의 맥락을 지원하며, Grouped Query Attention(GQA)과 Fast/Slow Thinking 모드를 지원
• B200 GPU와 300GB 네트워크 볼륨을 사용해 월 21달러 비용으로 구축 가능

섹션별 세부 요약

1. 모델 소개 및 특징

• 텐센트가 새롭게 출시한 Hunyuan-A13B-Instruct는 오픈 소스로 제공되며, 800억 개의 파라미터를 가진 Mixture-of-Experts(MoE) 구조를 채택
• 모델은 130억 개의 파라미터만 활성화되어 있어, 일반적인 밀도 모델보다 추론 비용이 훨씬 낮음
• 256,000 토큰의 맥락을 지원하며, Grouped Query Attention(GQA) 및 Fast/Slow Thinking 모드를 지원
• MoE 구조는 입력에 따라 전문적인 "전문가" 서브네트워크를 선택적으로 활성화해 계산 효율성을 높임

2. 모델 실행 환경 및 설치 방법

• B200 GPU와 300GB 네트워크 볼륨이 필요하며, 월 21달러 비용으로 사용 가능
• PyTorch 2.8.0 기반의 이미지 사용 필수 (예: runpod/pytorch:2.8.0-py3.11-cuda12.8.1-cudnn-devel-ubuntu22.04)
• GPU 설정에서 SSH와 Jupyter를 활성화하고, 네트워크 볼륨을 연결해야 함
• 설치 과정에서 transformers, gptqmodel, optimum 등의 패키지를 설치해야 함

3. 모델 성능 및 벤치마크

• Hunyuan-A13B-Instruct는 수학, 과학, 에이전트 영역에서 여러 벤치마크에서 우수한 성능을 보임
• MMLU, BBH, MATH 등 주요 벤치마크에서 Qwen2.5-72B, Qwen3-A22B, Hunyuan-Large 등과 비교해 경쟁력 있는 성능을 나타냄
• 특히 CRUX-I, CRUX-O, MATH, CMATH, GSM8k 등에서 높은 점수를 기록
• Hunyuan-A13B-Instruct는 AIME 2024, 2025 등 수학 문제에서도 높은 정확도를 보임

결론

• Hunyuan-A13B-Instruct는 고성능, 효율적인 MoE 구조를 통해 수학, 과학, 에이전트 분야에서 뛰어난 성능을 보임
• B200 GPU와 300GB 네트워크 볼륨을 사용해 간단히 구축 가능하며, 월 21달러 비용으로 사용 가능
• 개발자 및 연구자에게는 인공지능 모델 테스트 및 실험에 적합한 환경을 제공