AI 개발 입문: FastAPI, ChromaDB, Ollama를 활용한 RAG 기반 프로젝트 구축기

AI 개발 입문: FastAPI, ChromaDB, Ollama를 활용한 RAG 기반 프로젝트 구축기

핵심 기술: 이 글은 AI 애플리케이션 개발 입문자가 FastAPI, ChromaDB, Sentence Transformers, 그리고 로컬 Qwen2.5 LLM을 활용하여 RAG(Retrieval-Augmented Generation) 아키텍처를 구축하는 과정을 상세히 다룹니다. 특히 문서 분할 및 벡터화, 멀티 라운드 검색, 그리고 로컬 LLM 연동 등 실질적인 개발 경험과 문제 해결 과정을 공유합니다.

기술적 세부사항:
* 기술 스택: FastAPI (Python), ChromaDB (벡터 DB), Sentence Transformers (임베딩 모델), 로컬 Qwen2.5-7B (LLM via Ollama).
* 아키텍처: RAG (Retrieval-Augmented Generation).
* 문서 처리: Markdown 문서의 헤더 기반 청킹(chunking) 전략 구현. (create_chunks_by_headers 함수 예시 포함)
* 검색 개선: 키워드 불일치 문제를 해결하기 위한 멀티 라운드 검색 (저임계/고임계 threshold를 사용한 두 단계 검색).
* LLM 통합: Ollama를 통한 로컬 Qwen2.5 모델 연동 및 프롬프트 템플릿 활용 (answer_question 함수 예시 포함).
* 프로토콜 경험: MCP 프로토콜 사용 시 겪었던 어려움과 HTTP 호출로 전환한 경험 공유.

개발 임팩트:
* RAG 아키텍처의 효과적인 구현 방법을 학습할 수 있습니다.
* 실제 AI 프로젝트에서 마주칠 수 있는 데이터 전처리 및 검색 성능 개선 방안을 배울 수 있습니다.
* 로컬 LLM 환경 구축의 장점(개인 정보 보호, 응답 속도)과 활용법을 익힐 수 있습니다.
* 개발 과정에서 발생할 수 있는 시행착오를 줄이는 데 도움이 됩니다.

커뮤니티 반응: 원문에는 특정 커뮤니티 반응이 직접적으로 언급되지 않았지만, ChatGPT와의 대화를 통해 기술 선택 및 문제 해결 아이디어를 얻는 과정을 보여줌으로써 개발자들이 협업 및 정보 공유의 중요성을 간접적으로 느낄 수 있습니다.

톤앤매너: 경험을 공유하는 개발자의 솔직하고 실용적인 톤으로 작성되어 있어, 기술적인 내용을 이해하기 쉽게 전달하고 있습니다.