AI 웹 에이전트의 탐색 능력 향상을 위한 혁신적인 보상 모델 '웹-셰퍼드' 소개

핵심 기술

인공지능(AI) 에이전트의 복잡한 웹 탐색 능력을 향상시키기 위해, 각 단계별로 AI의 판단과 행동을 정밀하게 평가하고 보상하는 최초의 과정 보상 모델(Process Reward Model)인 '웹-셰퍼드(WEB-SHEPHERD)'가 개발되었습니다.

기술적 세부사항

• 웹 탐색의 어려움 극복: AI 에이전트가 웹 구조를 이해하고, 사용자 목표를 해석하며, 클릭, 스크롤 등 다단계 작업을 수행하는 과정에서 발생하는 어려움을 해결하기 위해 고안되었습니다.
• 과정 보상 모델 (Process Reward Model): 기존의 이진(성공/실패) 또는 프롬프트 기반 평가 방식의 한계를 넘어, '상품 검색하기', '상품 상세 페이지 클릭'과 같은 하위 목표를 체크리스트로 구성하고 각 단계를 평가합니다.
• 평가 메커니즘: 각 단계의 수행 결과를 '예(Yes)', '아니오(No)', '진행 중(In Progress)'으로 예측하여 보상을 할당합니다.
• 데이터셋 및 벤치마크: 4만 개의 단계별 작업 쌍과 체크리스트로 구성된 대규모 데이터셋 '웹PRM 컬렉션(WebPRM Collection)'과 PRM 성능 평가를 위한 '웹리워드벤치(WebRewardBench)'를 구축했습니다.
• 성능 및 효율성: 웹리워드벤치에서 GPT-4o-미니 대비 평균 점수 87.6% 대 47.5%, 경로 정확도 55% 대 0%를 기록했으며, '웹아레나-라이트'에서도 34.55%의 성공률을 보여 GPT-4o-미니보다 10.9%포인트 높았습니다. 또한, 비용 면에서는 10배 더 효율적입니다.
• 체크리스트 및 피드백의 중요성: 체크리스트와 피드백 기능이 웹-셰퍼드의 성능에 결정적인 영향을 미치는 것으로 확인되었습니다.
• 멀티모달 입력의 양면성: 텍스트와 이미지를 함께 사용하는 멀티모달 입력이 항상 성능 향상에 기여하는 것은 아니며, 때로는 방해가 될 수도 있습니다.
• 오픈소스 공개: 모델 가중치와 코드가 허깅페이스와 깃허브에 공개되었습니다.

개발 임팩트

웹-셰퍼드는 AI 에이전트의 웹 탐색 효율성과 정확도를 크게 향상시켜, 더 복잡하고 정교한 자동화 작업 수행을 가능하게 할 것입니다. 또한, 기존 평가 방식의 비용 및 속도 문제를 해결하여 AI 에이전트 개발 및 상용화에 긍정적인 영향을 미칠 것으로 기대됩니다.

커뮤니티 반응

(본문 내 커뮤니티 반응에 대한 구체적인 언급 없음)

톤앤매너

본 콘텐츠는 AI 기술의 최전선에서 이루어지고 있는 연구 성과를 상세하게 소개하며, IT 개발자 및 연구자들이 최신 기술 동향을 파악하고 실제 연구 및 개발에 적용할 수 있도록 전문적이고 명확한 정보를 제공합니다.