국가 전문 자격시험 기반의 새로운 한국어 LLM 벤치마크 'KMMLU-Pro' 등장: 실무 능력 측정 강화

핵심 트렌드

한국어 거대언어모델(LLM)의 실무 능력을 정확하게 측정하기 위해 실제 국가 전문 자격시험 문제를 기반으로 한 새로운 고난도 벤치마크 'KMMLU-Pro'가 공개되었습니다.

주요 변화 및 영향

• 새로운 벤치마크 등장: LG AI연구원과 해례가 공동으로 개발한 KMMLU-Pro는 변호사, 회계사, 의사 등 14개 국가 전문직 자격시험의 실제 문제를 활용하여 LLM의 지역 특화 지식 및 응용력 격차를 효과적으로 드러냅니다.
• 실무 적합성 측정 강화: 단순 정답률을 넘어 실제 시험의 합격 기준을 적용하고, 단답형이 아닌 실제 시험 포맷에 맞춰 평가하여 AI의 지식 암기 능력보다 응용력과 분야별 편차를 명확히 측정합니다.
• 기존 벤치마크 보완: 기존 KMMLU의 품질 논란(문제 중복, 오염, 정답 노출)을 개선하기 위해 리덕스 버전도 함께 공개되었으며, 이는 산업기사 중심 국가기술자격시험 100종의 문항을 추출하여 구성되었습니다.
• 모델 성능 비교: 앤트로픽의 클로드 3.7 소넷은 14개 시험 중 12개를 통과하며 고른 성능을 보였고, OpenAI의 o1 모델은 평균 정확도 79.55%로 가장 높은 점수를 기록했으나 합격 기준 통과는 10개 자격에 그쳤습니다. 특히 클로드 3.7이 한국 변호사시험을 통과한 유일한 모델로 나타났습니다.

트렌드 임팩트

KMMLU-Pro의 등장은 한국어 LLM의 실제 업무 환경에서의 효용성을 객관적으로 평가하고, 특정 분야의 전문 지식과 응용 능력을 요구하는 서비스 개발에 있어 모델 선택의 중요한 기준으로 작용할 것입니다. 이는 LLM 개발의 방향성을 제시하고, 실질적인 문제 해결 능력을 갖춘 AI 모델의 발전을 촉진할 것으로 기대됩니다.

업계 반응 및 전망

이번 벤치마크 공개는 LLM 연구 및 개발 커뮤니티에서 한국어 특화 LLM의 성능 향상에 대한 높은 관심을 반영합니다. 앞으로 KMMLU-Pro를 활용한 다양한 LLM의 성능 비교 및 개선 연구가 활발해질 것으로 예상됩니다.