미니맥스, 100만 토큰까지 추론 가능한 ‘미니맥스-M1’ 오픈 소스 공개

카테고리

인공지능

서브카테고리

머신러닝

대상자

인공지능 연구자, LLM 개발자, 기업 기술 담당자

핵심 요약

• _미니맥스-M1_은 100만 토큰까지 처리 가능한 오픈 소스 추론 모델로, 라이트닝 어텐션과 MoE 아키텍처를 결합하여 성능과 효율을 극대화했다.
• _CISPO 알고리즘_을 도입하여 강화 학습(RL)의 안정성과 효율성을 동시에 개선했다.
• _80K 버전_은 수학, 코딩, 소프트웨어 공학 등 고난도 분야에서 경쟁 모델과 동등하거나 우수한 성능을 보여주며, 오픈 소스 모델 중 최고 수준의 성과를 달성했다.

섹션별 세부 요약

1. 모델 개요 및 기술적 특징

• _미니맥스-M1_은 4560억 매개변수, 45.9억 활성 매개변수, 32개의 전문가로 구성된 MoE 아키텍처를 기반으로 개발되었다.
• 라이트닝 어텐션을 적용한 7개의 트랜스포머 블록에 소프트맥스 어텐션 블록을 추가하여 수십만 토큰까지의 추론 길이를 효율적으로 처리한다.
• 100만 토큰의 컨텍스트 길이 지원으로, 기존 모델 대비 8배 이상의 확장성 제공.

2. 학습 과정 및 기술적 혁신

• 7.5조 토큰의 데이터셋을 기반으로 사전 학습, 사고사슬(CoT) 방식의 지도 미세조정(SFT), 강화 학습(RL)을 순차적으로 수행.
• _CISPO 알고리즘_을 도입하여 중요도 샘플링 가중치를 기반으로 학습의 안정성과 효율성을 극대화.
• 하이브리드 어텐션 구조에 맞춘 RL 확장 기술을 적용하여, 훈련/추론 과정의 정밀도 차이를 해결.

3. 성과 및 적용 가능성

• _80K 버전_은 AIME 2024에서 86.0%, 라이브코드벤치에서 65.0%, SWE-벤치에서 56.0%의 높은 정확도를 달성.
• 구조화된 함수 호출, 챗봇 API, 검색·이미지 생성·음성 합성 도구 지원으로 실제 서비스 환경에서의 활용도 향상.
• 허깅페이스와 깃허브를 통해 공개되어, 기업용 솔루션 구축에 용이.

결론

• _미니맥스-M1_은 높은 성능과 효율성, 오픈 소스 접근성을 갖춘 LLM으로, 고난도 추론 작업 및 기업용 AI 솔루션 개발에 적합한 모델로 활용될 수 있다.