LLM 기반 하이브리드 검색 및 생성 시스템 아키텍처 상세 분석

핵심 기술

이 콘텐츠는 Retrieval Augmented Generation (RAG) 프레임워크 내에서 하이브리드 검색 전략과 LLM 기반의 응답 생성을 구현하는 시스템 아키텍처의 구체적인 기술적 세부사항을 다룹니다. 로컬 벡터 스토어와 ArXiv API를 결합한 검색 방식, Hugging Face 라이브러리를 활용한 LLM 통합, FastAPI를 사용한 서버 구현 등이 주요 논점입니다.

기술적 세부사항

• 폴더 구조: 프로젝트는 명확한 관심사 분리(Separation of Concerns)를 위해 dto/, models/, prompt_templates/, rag/, scripts/, ui/, utils/ 등 모듈화된 디렉토리 구조를 따릅니다.
• 데이터 전송 객체 (DTO): dto/ 폴더는 요청, 응답, 메서드 반환 시그니처를 정의하여 데이터 구조를 표준화하고 자동 완성 기능을 지원합니다.
• 모델: models/ 폴더는 검색 시스템을 위한 벡터 스토어 모델과 Hugging Face에서 가져온 다양한 Language Model (LM)을 포함합니다.
• 프롬프트 템플릿: prompt_templates/ 폴더는 config.yml에 설정된 다양한 프롬프트 텍스트 파일을 관리하며, 성능 평가를 위한 프롬프트 비교를 용이하게 합니다.
• RAG 엔진: rag/ 폴더는 서버에서 쿼리를 받아 검색 및 생성 핸들러로 전달하고, 모델을 활용해 최종 응답을 생성하는 엔드투엔드 프로세스를 오케스트레이션하는 핵심 로직을 담고 있습니다.
• 실행 스크립트: scripts/ 폴더는 서버 시작 스크립트를 포함하여 컨테이너화된 환경에서의 배포를 지원합니다.
• UI: ui/ 폴더는 사용자 상호작용을 위한 HTML, CSS, JavaScript 파일을 포함합니다.
• 유틸리티 함수: utils/ 폴더는 설정 로딩, 로깅, ArXiv API 연동 등 다양한 작업을 위한 범용 함수를 제공합니다.
• 애플리케이션 진입점: app.py는 FastAPI 서버를 정의하며 애플리케이션의 생명주기를 시작하는 메인 엔트리 포인트입니다.
• 설정 관리: config.yml은 시스템 동작을 제어하는 다양한 구성 옵션을 주석과 함께 제공합니다.
• 하이브리드 검색 전략: 로컬 벡터 스토어에서 충분한 결과를 얻지 못할 경우 ArXiv API를 사용하여 보충하는 방식을 채택합니다. 논문의 초록(abstract)을 주 문서로 활용하며, 추가 메타데이터도 보존합니다.
• 캐싱: ArXiv API 응답을 벡터 스토어에 저장하여 향후 검색 성능을 개선하고, 이 과정은 백그라운드 스레드에서 처리되어 사용자 지연을 최소화합니다.
• 생성기 (Generator): Mistral-7B, Phi-2, GPT-2와 같은 소형 LLM을 사용하여 검색된 문서를 바탕으로 프롬프트 템플릿과 인용을 포함한 요약문을 생성합니다. Hugging Face 라이브러리를 통해 모델 및 토크나이저를 통합합니다.
• 모의 (Mock) 모드: 개발 및 디버깅을 위해 검색기 및 생성기 컴포넌트의 모의 응답을 반환하는 모드를 지원합니다.

개발 임팩트

이 시스템 아키텍처는 검색 정확도를 높이기 위한 하이브리드 접근 방식, LLM 활용을 통한 지능형 요약 및 질의응답 능력, 명확한 모듈화로 인한 확장성 및 유지보수성 향상 등 여러 측면에서 개발 효율성과 시스템 성능을 크게 개선할 수 있습니다. 특히, ArXiv API와 로컬 벡터 스토어의 연동 및 캐싱 전략은 데이터 접근성과 응답 속도를 동시에 최적화하는 데 기여합니다.

커뮤니티 반응

(원문에서 커뮤니티 반응에 대한 언급은 없습니다.)

톤앤매너

이 분석은 LLM 기반 시스템의 구현 및 아키텍처 설계에 대한 개발자 대상의 기술적이고 실용적인 정보 제공에 초점을 맞추고 있습니다.