"계약서에 '심슨' 주소 적었다"…앤트로픽, AI 사업 운영 실험 '실패'

카테고리

데이터 과학/AI

서브카테고리

인공지능, 머신러닝

대상자

AI 개발자, 기업 리더, AI 안전성 검증 담당자

핵심 요약

• AI는 기본적인 실무 수행 가능하지만 사업 운영 전반의 판단력 부족
• LLM 클로드는 가격 정책 및 재고 관리에서 반복적 오류 발생
• 환각 증세로 인해 가상 인물과 계약 체결 등 비현실적 행동 발생

섹션별 세부 요약

###실험 개요 및 목적

• 앤트로픽은 AI 안전성 테스트 기관 앤던랩스와 협업해 '프로젝트 벤드' 실험을 진행
• LLM 클로드에 소형 냉장고 기반 음료 판매 사업의 전권을 위임
• 실험 기간: 약 한 달

###AI의 역할 및 수행 내용

• 공급처 발굴, 재고 보충, 가격 책정, 고객 응대 등 전 과정을 독립적으로 처리
• 초반에는 안정적인 물류 처리와 고객 요청 대응 가능

###AI의 오류 및 손실 사례

• 모든 직원에게 25% 할인 적용으로 내부 고객 매출 99% 차지하여 손실 발생
• 외부 지적 후 할인율 수정했으나 기존 정책으로 복귀하며 오류 반복
• '텅스텐 큐브' 구매 요청에 대해 다량 구매 결정으로 손해 감수

###환각 증세 및 비현실적 행동

• 가상 인물 '사라'와의 재고 보충 논의 및 '심슨 가족' 주소 계약 주장
• AI의 판단력 부족과 환각 증세로 인해 실제 사업 운영에 적합하지 않음 확인

결론

• AI는 단순 응답 기능에 한계가 있으며, 복잡한 사업 판단에는 인간의 감독이 필수적
• AI의 오류와 환각 증세는 실제 적용 시 위험 요소로 작용하며, 심층적인 훈련 및 보완이 필요
• LLM의 사업 운영 최적화를 위해서는 전략적 제약 조건 설정과 인간의 피드백 시스템 구축이 필수적