트릴리온랩스, 21B LLM '트리-21B' 오픈소스로 공개: 한국어 특화 및 비용 효율성 강조

핵심 기술: 트릴리온랩스가 한국어 등 저자원 언어에 최적화된 21B 파라미터의 거대언어모델(LLM) '트리-21B'를 오픈소스로 공개하며, 1/12 비용 구조와 경량화된 추론 성능을 강점으로 내세웠습니다.

기술적 세부사항:
* 모델: '트리-21B' (21B 파라미터, 완전 사전학습 기반 From-Scratch LLM)
* 특징:
* 1대의 GPU에서도 작동 가능한 경량 구조
* 깃허브 통해 다운로드 가능
* 향후 70B급 상위 모델 공개 예정
* 벤치마크 성능:
* 수학: MATH 77.89점
* 코딩: MBPP Plus 75.4점
* 종합 지식: MMLU 77.93점
* 한국어 특화 성능:
* 한국문화 이해도: Hae-Rae 86.62점
* 한국어 지식/추론: KMMLU (CoT 적용) 70점
* 일본어 등 동북아 저자원 언어 문장 생성 가능
* 구현 기술:
* 언어 간 상호학습 시스템 (XLDA): 영어 기반 지식을 저자원 언어로 전이
* 학습 비용 1/12 절감 효과
* 플라이휠 구조: 70B급 모델 학습 특성 및 추론 전략 21B 모델에 전이
* 추론 체계: 생각의 사슬 (CoT) 방식 활용

개발 임팩트: 대규모 GPU팜 없이도 고차원적 추론이 가능하며, 특히 비용에 민감한 산업군에서 LLM 도입의 문턱을 낮출 수 있습니다. 한국어 데이터셋에서의 독보적인 성능은 국내 AI 서비스 개발에 큰 이점을 제공할 것으로 기대됩니다.

커뮤니티 반응: (원문에서 커뮤니티 반응에 대한 직접적인 언급은 없습니다.)