Kanana 1.5 출시: Agentic AI를 위한 코딩 및 수학 능력 강화와 Long Context 확장 전략 분석

핵심 기술: Kanana LLM 팀은 Agentic AI의 핵심 역량 강화를 목표로 Kanana 1.5 버전을 개발하며 코딩 및 수학 능력 고도화, Long Context 처리 능력 확대를 중점적으로 추진했습니다. 특히 고품질 합성 데이터를 활용한 학습 전략과 모델 구조 최적화를 통해 성능 개선을 달성했습니다.

기술적 세부사항:
* Agentic AI의 요구사항: 사용자 의도 파악, 다단계 추론, 코드 변환, 외부 도구 연동, 긴 대화/문서 맥락 유지 능력이 필수적입니다.
* Kanana 1.5의 주요 목표: 코딩 및 수학 능력 향상, Long Context 처리 능력 확대, Post-training 개선을 통한 사용성 강화.
* 데이터 구축 전략:
* 수학 코퍼스: NuminaMath 데이터셋을 시드(Seed)로 활용하고, 고성능 LLM을 통해 문제, 풀이 과정, 정답을 생성. 답변 다양성 확보 및 오염 제거(Decontamination) 과정 거침.
* 코드 코퍼스: 오픈소스 저장소 및 알고리즘 학습 자료를 시드 데이터로 활용하고, 코드 생성 특화 LLM으로 솔루션 코드 생성. 다양한 스타일의 코드 솔루션 생성 및 오염 제거(Decontamination) 과정 거침.
* 2단계 학습 전략:
* Stage 1: 100B 토큰 추가 학습. 고품질 코드/수학 데이터 포함 데이터 혼합에 적응. 영어/한국어 비중 70%, 코드/수학 비중 30%.
* Stage 2: 10B 토큰 추가 학습. 코딩/수학 전문성 집중 강화. 영어/한국어 비중 60%, 코드/수학 비중 40%로 전문 분야 데이터 비율 증대 및 고품질 데이터 선별.
* 모델 경량화 전략 (Kanana-Nano-3B): Attention Head 수는 유지하고 Hidden Size, Intermediate Size를 줄여 3B 파라미터 모델 설계.
* Long Context 확장: 모델의 Context length를 8K에서 최대 128K로 확장.
* 평가 벤치마크: NIAH, RULER, HELMET 활용.
* Base 모델 평가의 어려움: 프롬프트 민감성, 명시적 지시어 부족으로 인한 일관성 있는 평가의 어려움. HELMET의 프롬프트 설계를 통해 해결 시도.

개발 임팩트:
* Kanana-Flag-32.5B-Base 모델에서 HumanEval 73.78점(+22.56점), GSM8K 80.67점(+10.62점)으로 코드 및 수학 능력 대폭 향상.
* Kanana-Nano-3B 모델에서 HumanEval 53.66점(+20.73점), GSM8K 64.52점(+13.80점)으로 성능 향상 및 일반 지식 벤치마크에서도 의미 있는 개선 확인.
* Long Context 능력 확장을 통해 복잡한 과제 수행 및 긴 문서 이해 능력 강화 기대.

커뮤니티 반응: (언급 없음)

톤앤매너: 개발자를 위한 기술 분석으로 전문적이고 상세한 정보를 제공하며, 객관적인 데이터와 결과를 기반으로 설명하고 있습니다.