LangChain/LangGraph 없이 직접 RAG 파이프라인 구축하기: 데이터 로딩부터 검색까지

핵심 기술: 본 콘텐츠는 LangChain 및 LangGraph와 같은 프레임워크에 의존하지 않고, Python 라이브러리(PyPDF2, python-docx)와 ChromaDB를 활용하여 자체 RAG 파이프라인을 구축하는 방법을 단계별로 안내합니다.

기술적 세부사항:
* 데이터 로딩: .txt, .pdf, .docx 형식의 다양한 문서를 Python I/O 및 PyPDF2, python-docx 라이브러리를 사용하여 텍스트로 변환하는 함수를 제공합니다.
* 텍스트 청킹: 추출된 텍스트를 문장 단위로 분리하고, 지정된 chunk_size 내에서 의미 있는 덩어리로 분할하는 split_text 함수를 구현합니다. 개행 문자를 공백으로 처리하고, 문장의 끝에 마침표를 추가하는 전처리 과정을 포함합니다.
* 벡터 스토어 설정: 로컬에서 실행 가능한 ChromaDB를 사용하여 벡터 데이터베이스를 설정합니다. all-MiniLM-L6-v2 모델을 임베딩 함수로 사용하며, 영구 저장을 위한 PersistentClient를 설정합니다.
* 데이터 처리 및 삽입: read_document와 split_text 함수를 조합하여 문서를 처리하고, 파일명과 청크 인덱스를 메타데이터로 함께 chromadb 컬렉션에 추가하는 process_document, add_to_collection, process_and_add_documents 함수를 구현합니다. 효율성을 위해 배치 삽입을 지원합니다.
* 의미론적 검색: ChromaDB 컬렉션에 저장된 임베딩을 기반으로 사용자 쿼리를 벡터화하여 가장 유사한 문서 청크를 검색하는 semantic_search 함수를 제공합니다.
* 결과 포맷팅: 검색 결과에서 문서 내용과 출처(파일명, 청크 번호)를 추출하고 가독성 좋게 출력하는 get_context_with_sources 및 print_search_results 함수를 포함합니다.
* LLM 연동 준비: Gemini API를 활용한 텍스트 생성을 위한 get_prompt 함수를 소개하며, 문맥, 대화 기록, 쿼리를 조합하여 프롬프트를 생성하는 과정을 보여줍니다.

개발 임팩트: LangChain/LangGraph와 같은 라이브러리의 추상화로 인한 오버헤드 및 디버깅의 어려움을 해소하고, RAG 시스템의 각 구성 요소를 직접 제어함으로써 유연성과 성능을 향상시킬 수 있습니다. 자체 구현은 RAG 파이프라인에 대한 깊이 있는 이해를 제공합니다.

커뮤니티 반응: 본문에서는 LangChain/LangGraph 사용 시 발생하는 일반적인 문제점을 지적하며, 이에 대한 대안으로 직접 구현을 제시하는 방식으로 커뮤니티의 경험과 공감을 얻을 수 있습니다.