LLM 에이전트 및 컨텍스트: 던전 탐색의 전사의 가이드
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
인공지능
대상자
AI/LLM 에이전트 개발자, 소프트웨어 엔지니어, 데이터 분석가
- 난이도: 중급~고급(컨텍스트 관리 및 아키텍처 설계 이해 필요)
핵심 요약
- LLM 에이전트의 기억 관리 핵심:
shared딕셔너리 기반의 Cognitive Backpack을 통해 필요한 정보만 선택적으로 제공 - 3가지 핵심 전략:
- Scrying Spell: 필요 시점에만 정보를 동적으로 탐색
- Grand Strategy: 전략적 탐색으로 불필요한 정보 필터링
- Cautious Explorer’s Path: 실시간 환경에 맞춘 유연한 컨텍스트 구성
- 문제점: 과도한 컨텍스트 제공은 대화 비용 증가, 결정 오류, 정보 과부하를 유발
섹션별 세부 요약
1. 문제점: 과도한 컨텍스트 제공의 위험
- 불필요한 정보 과부하: 전체 던전 데이터를 처음부터 제공하면 LLM이 핵심 정보를 못 찾음
- 비용 및 지연 증가: 100,000 토큰 크기의 컨텍스트는 비용이 10배 이상 증가
- 허위 정보 생성: 관련 없는 정보가 혼합되면 LLM이 잘못된 결정을 내릴 가능성 증가
2. Scrying Spell 전략: 필요 시점에 정보 탐색
- 동적 정보 수집:
shared딕셔너리가 초기에는 비어 있고, 필요 시list_tables()또는get_table_schema()와 같은 API 호출을 통해 정보를 점진적으로 추가 - 예시: AI 데이터 분석가가
customers테이블의total_amount컬럼을 확인하기 위해get_table_schema()API 호출 - 결과:
shared딕셔너리에{'orders': {'order_id': 'INT', 'customer_id': 'INT', ...}}와 같은 구조 저장
3. Grand Strategy: 전략적 탐색 패턴
- pull 모델 기반: 에이전트가 스스로 필요한 정보를 요청해
shared딕셔너리에 저장 - 핵심 원칙: "필요한 정보만 수집" → 불필요한 정보는 무시
- 구현:
shared딕셔너리 초기 상태는{}이며,list_tables()호출 후{'tables': ['customers', 'orders', 'products']}로 업데이트
4. Cautious Explorer’s Path: 실시간 환경 적응
- 예시: 던전의 특정 방에서 압력판을 해결하기 위해 직접 필요한 정보만 탐색
- 구현:
shared딕셔너리에 "현재 방의 압력판 위치"만 저장하고, 다른 방의 정보는 무시 - 효과: 에이전트의 판단 속도와 정확도 향상
결론
- 핵심 팁:
shared딕셔너리에 필요한 정보만 저장하고, pull 모델을 사용해 동적 탐색 - 예시: AI 데이터 분석가가
get_table_schema()API를 통해 필요한 컬럼만 확인 후shared딕셔너리에 추가 - 결론: 던전 탐색과 마찬가지로, LLM 에이전트는 필요 정보만을 기반으로 결정을 내려야 한다.