틱톡 대안' 샤오홍슈도 오픈 소스 LLM 경쟁 합류
카테고리
데이터 과학/AI
서브카테고리
인공지능, 머신러닝
대상자
AI 개발자, 연구자, 기술 트렌드 관찰자
- *난이도**: 중간 수준 (AI 모델 구조, 성능, 데이터 처리 방식 등 기술적 요소 포함)
핵심 요약
- 샤오홍슈가 자체 개발한 닷츠llm1(dots.llm1)을 허깅페이스와 깃허브를 통해 오픈소스로 공개했다.
- 1420억 매개변수 중 140억개만 활성화하는 MoE 구조를 채택, 연산 효율성 향상.
- 11.2조 개의 고품질 실제 데이터 기반 훈련으로 중국어 이해력 향상, 코딩 성능은 큐원2.5 수준.
섹션별 세부 요약
1. 샤오홍슈의 LLM 오픈소스 공개
- 샤오홍슈는 닷츠llm1(dots.llm1)을 허깅페이스 및 깃허브를 통해 공개하며 AI 경쟁에 본격 진입.
- 닷츠llm1은 1420억 매개변수 중 140억개만 활성화하는 MoE(Mixture of Experts) 구조를 채택.
- 오픈소스 공개를 통해 학계와 개발자 커뮤니티의 참여를 유도.
2. 모델 훈련 데이터 및 성능
- 11.2조 개의 고품질 실제 데이터를 기반으로 훈련 진행.
- 중국어 이해력 측면에서는 큐원2.5-72B-인스트럭트 및 딥시크-V3보다 우수한 성능 기록.
- 코딩 작업에서는 큐원2.5와 유사, 딥시크-V3에는 다소 미치지 못함.
3. 모델의 현재 활용 사례
- AI 기반 콘텐츠 검색 도우미 '디앤디안(Diandian)'이 레드노트 앱에 제공.
- 대화형 인터페이스로 사용자 정보 탐색 지원.
- AI 리서치 어시스턴트로의 확장도 계획 중.
4. 훈련 투명성 강조 및 오픈소스 전략
- 1조 개의 토큰마다 중간 체크포인트를 외부에 공개.
- 학계 및 개발자 커뮤니티의 연구 활용 가능성 확대.
- 중국 AI 업계가 오픈소스 경쟁에 일제히 돌입, 딥시크-R1의 글로벌 충격을 계기로.
5. 샤오홍슈의 현황 및 전략
- 월간 활성 사용자 수(MAU) 3억 명 기록.
- 기업 가치 260억 달러를 돌파한 중국 대표 소셜 플랫폼.
- 틱톡 금지 논의와 해외 사용자 이동을 계기로 AI 기술 및 글로벌 전략 결합.
결론
- 닷츠llm1(dots.llm1)의 MoE 구조와 고품질 데이터 기반 훈련은 오픈소스 AI 모델의 성능 경쟁력을 높이는 데 기여.
- 중국 AI 업계의 오픈소스 전략은 글로벌 AI 기술 경쟁에 중요한 영향을 미칠 수 있음.