인간과 유사한 대화 방식으로 LLM의 다중 턴 대화 문제 해결

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

- LLM(대규모 언어 모델) 개발자, 대화형 AI 시스템 설계자

- 다중 턴 대화에서 성능 저하 문제를 겪는 연구자 및 엔지니어

- 난이도: 중급~고급 (LLM 아키텍처, 메모리 관리, 자연어 처리 이해 필요)

핵심 요약

• 인간의 선택적 기억 메커니즘 모방: Structure Summary 시스템으로 과거 대화의 핵심 정보만 유지
• 모든 대화 기록 보존 + 필요 시 검색: Fuzzy Search 알고리즘으로 관련 히스토리 자동 검색 (예: Jaccard 유사도 40%, Cosine 유사도 40%)
• 성능 최적화: GPT-4o-mini로 요약 생성, GPT-4o로 대화 생성, Token 효율성 향상

섹션별 세부 요약

1. 문제 정의: LLM의 다중 턴 대화 성능 저하

• 원인: LLM의 완전 기억 모델로 인해 과거 정보가 현재 대화에 방해
• 데이터: 15개 LLM의 20만 회 이상 대화 실험에서 성능 39% 저하
• 인간 vs LLM 비교:

- 인간: 무관 정보 제거, 현재 상태 유지

- LLM: 과거 정보 모두 기억 (인간의 선택적 기억 모방 필요)

2. 인간의 기억 시뮬레이션 아키텍처

• 3단계 프로세스:

1. Structure Summary 생성: 대화 후 핵심 정보만 요약
2. Fuzzy Search: 새로운 질문에 기반한 과거 히스토리 검색 (시간 가중치 20%)
3. LLM 응답 생성: 요약 + 관련 히스토리 + 새 질문 입력

• 기능 구현:

- ExcludedOptions로 오류 재발 방지

- Token 효율성 향상 (완전 히스토리 전송 대신 요약+새 내용 전송)

3. 알고리즘 및 구현 세부 사항

• 검색 알고리즘:

- Jaccard 유사도 (40%): 키워드 기반 검색

- Cosine 유사도 (40%): 의미 유사도 분석 (중/영문 혼합 지원)

- Time Weight (20%): 24시간 내 대화에 높은 가중치 부여

• 기타 설정:

- 관련성 기준: Threshold 0.3, 최대 5개 결과 반환

- Go 1.20 이상, OpenAI API 키 필요

- MIT License로 공개

4. 실무 적용 시 고려사항

• 개선 방향:

- Semantic Understanding 강화 (예: 더 정밀한 의미 유사도 알고리즘)

- Dynamic Threshold 자동 조정, Dialogue Type 분류 지원

• 실행 예시:

```bash

go run main.go

go run main.go --old # 전통적 기억 모드 실행

```

결론

- 핵심 팁: Structure Summary + Fuzzy Search로 LLM의 과거 정보 과잉 문제 해결

- 적용 방법: GPT-4o 대화 생성, GPT-4o-mini 요약 생성으로 Token 효율성 극대화

- 실무적 가치: 장기 대화 시스템에서 성능 저하 방지 및 사용자 경험 개선