LLM 기반 로봇 탈옥 알고리즘 RoboPAIR: 물리적 안전의 새로운 도전 과제

핵심 기술

LLM(대규모 언어 모델)이 로봇 제어에 혁신을 가져왔지만, 물리적 피해를 유발할 수 있는 새로운 형태의 탈옥(Jailbreaking) 취약점이 존재합니다. 본 연구는 이러한 취약점을 공략하기 위한 최초의 알고리즘인 RoboPAIR를 제안합니다.

기술적 세부사항

• LLM의 로봇 공학 적용: LLM은 상황적 추론과 인간-로봇 상호작용을 가능하게 하여 조작, 이동, 자율 주행 등 로봇 공학 분야에 혁신을 가져왔습니다. 이미 항공 교통 관제, 물류, 군사 등 다양한 산업에서 LLM 통합 로봇이 상용화되고 있습니다.
• 로봇 탈옥의 심각성: 기존 챗봇 탈옥이 유해 텍스트 생성에 초점을 맞췄다면, LLM 제어 로봇의 탈옥은 환경, 인간, 로봇 자체에 물리적 피해를 입힐 수 있어 훨씬 더 심각한 위험을 내포합니다.
• RoboPAIR 알고리즘: LLM 제어 로봇을 탈옥시키기 위해 특별히 설계된 최초의 알고리즘으로, 유해한 물리적 행동을 유도하는 것을 목표로 합니다.
  • PAIR 알고리즘 구조: 공격(Attacker), 대상(Target), 심판(Judge) LLM의 상호작용 구조를 가집니다. 공격자는 대상을 탈옥시킬 프롬프트를 만들고, 대상은 응답을 생성합니다. 심판 LLM이 대상의 응답 유해성을 평가합니다.
  • PAIR의 한계: 챗봇 탈옥에는 효과적이나, 실제 로봇의 행동을 유도하는 데는 '연관성(Relevance)' 및 '현실 기반 부재(Groundedness)' 문제가 있습니다.
  • RoboPAIR의 개선점:
    1. 로봇 시스템 프롬프트 도입: 공격자와 심판 LLM에 로봇 API 정보와 유해 행동 예시를 포함한 맞춤형 시스템 프롬프트를 제공하여 현실적인 명령 생성을 유도합니다.
    2. 구문 검사기(Syntax Checker) 추가: 생성된 코드가 로봇 API와 호환되는지 평가하는 LLM을 도입하여 실행 불가능한 명령 생성을 방지합니다.
• RoboPAIR의 4가지 모듈: Attacker (공격자), Target (대상), Judge (심판), SyntaxChecker (구문 검사기)로 구성됩니다.
• 알고리즘 작동 방식: 시스템 프롬프트 초기화 후, 정해진 횟수만큼 공격자 프롬프트 생성, 대상 응답 생성, 심판 및 구문 검사기 채점을 반복하며, 유해성 및 구문 정확도 기준치를 넘으면 성공으로 간주합니다.
• 위협 모델: 공격자의 접근 수준에 따라 화이트박스(White-box), 그레이박스(Gray-box), 블랙박스(Black-box) 세 가지 시나리오로 실험을 진행했습니다.
• 실험 대상: NVIDIA Dolphins (자율주행 LLM), Clearpath Jackal (UGV 로봇), Unitree Go2 (상용 로봇 개).
• 평가 지표: 공격 성공률(ASR - Attack Success Rate).
• 주요 실험 결과: RoboPAIR는 모든 실험 대상에서 100%의 공격 성공률을 기록하며 유해한 물리적 행동을 성공적으로 유도했습니다. 이는 기존 PAIR 알고리즘이나 다른 방식에 비해 압도적인 성능을 보였습니다.
• API 탈옥 및 시스템 프롬프트 추출: 로봇 API 조합을 통한 새로운 유해 함수 생성, 상용 로봇의 독점 시스템 프롬프트 추출 및 활용 가능성을 보여주었습니다.
• 로봇 안전의 근본적 문제: 로봇의 행동 유해성은 상황 의존적이며, 단순 필터링으로는 안전 보장이 어렵습니다. 웹 기반 에이전트와 달리 로봇은 직접적인 물리적 피해 가능성이 존재합니다.
• 기존 방어 기술의 한계: 상황 의존성, 계산 능력, 미세 조정의 어려움 등으로 인해 기존 챗봇 방어 기술은 로봇에 적용하기 어렵습니다.

개발 임팩트

• LLM 기반 로봇 시스템의 심각한 보안 및 안전 취약점을 조명하며, AI 안전 기준 상향의 필요성을 강조합니다.
• 향후 로봇 전용 필터, 메커니즘, 방어 알고리즘 개발의 시급성을 제기합니다.
• 물리적 안전 필터(physical safety filters) 개발의 필요성을 역설하며, 로봇 AI의 안전한 배포를 위한 연구 방향을 제시합니다.

커뮤니티 반응

(본문에서 커뮤니티 반응에 대한 직접적인 언급은 없습니다.)