AI 능력 평가의 새로운 표준: '인류의 마지막 시험'과 차세대 AI 벤치마크의 등장

핵심 트렌드

현존하는 AI 모델의 성능이 기존 벤치마크의 한계를 초월함에 따라, 인간 지식의 최전선에 있는 복잡한 문제를 해결할 수 있는 새로운 AI 평가 기준의 필요성이 대두되고 있습니다.

주요 변화 및 영향

• 기존 벤치마크의 포화(Saturation): GPT-4와 같은 최신 AI 모델들은 MMLU와 같은 기존 벤치마크를 쉽게 능가하며, 모델 간의 변별력을 상실하게 만들었습니다.
• '인류의 마지막 시험'(Humanity's Last Exam, HLE) 등장: AI 안전 센터(CAIS)와 Scale AI가 협력하여 개발한 HLE는 인간 지식의 최전선에 위치한 2,500~3,000개의 복합적인 멀티모달 질문으로 구성되어, AI의 진정한 추론 및 전문 지식 수준을 평가하기 위해 설계되었습니다.
• 전문가 참여 및 범위: MIT, UC Berkeley, Stanford 등 유수 기관의 전문가들이 각 분야의 가장 어려운 질문들을 제안했으며, 무기 개발 관련 질문은 제외되었습니다.
• AI 성능의 급격한 향상: Grok 4 heavy 모델이 HLE에서 44%의 정확도를 달성하며, 이전 최고 모델이 3%에 머물렀던 점과 비교할 때 AI 성능 향상의 놀라운 속도를 보여줍니다.
• AI의 지능적 우위에 대한 질문: HLE를 통과하는 AI는 인간 최고 전문가 수준의 추론 및 지식 처리 능력을 갖춘 것으로 간주될 수 있으며, 이는 AI와 인간의 역할, 그리고 사회 전반에 대한 근본적인 윤리적, 사회적 질문을 제기합니다.

트렌드 임팩트

HLE는 AI 발전의 새로운 이정표를 제시하며, AI의 능력이 인간의 지적 능력을 넘어서는 시점(Singularity)에 대한 논의를 가속화할 것입니다. 이는 AI 개발 방향, 규제, 그리고 미래 사회 구조에 대한 재고를 필요로 합니다.

업계 반응 및 전망

Elon Musk와 Dan Hendrycks와 같은 주요 인사들의 주도로 개발된 HLE는 AI 커뮤니티 내에서 AI의 궁극적인 능력을 측정하고, AI 안전 및 통제에 대한 논의를 심화시키는 중요한 도구로 자리매김할 것으로 예상됩니다. Grok 4 heavy의 초기 성과는 AI 개발 경쟁이 더욱 치열해지고 있음을 시사합니다.