Personal AI Agent, LLM이 나를 알게 된다면? | GeekNews

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

AI 개발자, 개인화된 챗봇/LLM 서비스 구축에 관심 있는 연구자 및 엔지니어. 중급~고급 난이도.

핵심 요약

• *Lucia & Velt는 개인화된 LLM 챗봇을 구현하기 위한 오픈소스 프로젝트로, LLM 기반 정보 추출, 벡터화, 지식 그래프 구축**을 중심으로 개발되었습니다.
• Lucia: 개인화 LLM 백엔드 로직(정보 추출, 벡터 저장, 검색)을 모듈화한 Python 라이브러리. Apache-2.0 라이선스.
• Velt: Lucia의 개념을 활용한 RAG(Retrieval-Augmented Generation) 챗봇 PoC. Neo4j, Milvus, FastAPI 기반.
• RAG 기반 개인화: 사용자 대화를 통해 동적 지식 그래프를 구축하고, 벡터 검색 + 컨텍스트 증강을 통해 자연스러운 답변 생성.

섹션별 세부 요약

1. Lucia: 개인화 LLM 모듈

• 모듈화된 백엔드 로직: 정보 추출, 벡터화, 저장, 검색을 추상화하여 개발자 로직 집중화.
• 기술 스택: Python 3.13+, LangChain, OpenAI Embeddings, Redis 캐싱.
• 커스터마이징: Extractor, EmbeddingClient, InfoStore 등 사용자 정의 컴포넌트 지원.

1. Velt: RAG 기반 개인화 챗봇 PoC

• 동적 지식 그래프 구축: 사용자 대화("나는 햄버거를 좋아해")에서 관계 추출 후 Neo4j에 저장.
• RAG 프로세스:

- LLM로 키워드 추출 (예: "미술", "좋아하다").

- Milvus 벡터 검색 + Neo4j 관계 탐색.

- LangGraph ReAct 에이전트에 컨텍스트 증강 후 답변 생성.

• 기술 스택: FastAPI, Neo4j, Milvus, PostgreSQL, Redis.

1. 성능 및 개선 사항

• DB 병목: Neo4j 쿼리 성능 최적화 필요. 대규모 실시간 환경 검증 필요.
• 답변 품질: RAG 컨텍스트 의존도로 인한 부자연스러운 답변 개선 필요.
• 프롬프트 엔지니어링: LLM의 Instruction 준수 문제 해결.
• 확장성: Text-to-Cypher/SQL로 DB 쿼리 유연성 향상.

1. 기타 고려사항

• 언어 처리 문제: 영어 키워드 추출 시 한글로 인식되는 이슈.
• 키워드 정확도: 불명확한 의미론적 검색 성능.
• 구현 툴: GitHub, Docker, Poetry로 빌드 및 배포 가능.

결론

• *Lucia & Velt**는 LLM 기반 개인화 챗봇의 가능성을 보여주는 프로젝트이지만, DB 성능 최적화, 답변 자연스러움 개선, 프롬프트 엔지니어링 등 해결 과제가 존재합니다. 실무에서는 RAG 기반 컨텍스트 증강과 지식 그래프 통합을 중심으로 구현을 고려해야 합니다.
• *핵심 요약**: LLM과 그래프/벡터 DB를 결합해 동적 개인화 챗봇을 구현하는 기술적 틀을 제공합니다.