로컬 RAG 시스템 구축: Ollama, PostgreSQL, BladePipe 활용

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

- 대상: 기업용 AI 솔루션 개발자, IT 인프라 관리자, 데이터 엔지니어

- 난이도: 중간 (코드 작성 없이 인프라 구성 필요)

핵심 요약

• 프라이버시 강화 기능: Fully private stack으로 기업 데이터가 외부로 유출되지 않도록 보장
• 다양한 데이터 지원: Databases, Text files 등 다양한 형식의 데이터 동기화 가능
• 무코드 배포: BladePipe RagApi로 Zero-code deployment 가능, OpenAI-compatible API 지원
• 확장성: Multi-model support (DashScope, OpenAI, DeepSeek 등) 및 Adjustable parameters (vector top-K, temperature 등)

섹션별 세부 요약

1. 기업용 RAG의 핵심 특성

• 프라이버시: 모든 구성 요소가 local 또는 private cloud에서 실행되며, 데이터는 기업 경계를 벗어날 수 없음
• 데이터 통합: Databases, API, Workflow 등 다양한 소스에서 자동으로 데이터 동기화
• 도구 연동: SQL 쿼리, 함수 호출, 워크플로우 실행과 같은 MCP-like capabilities 지원

2. BladePipe RagApi의 주요 기능

• DataJob 구성: Import documents + Publish API로 2단계만으로 서비스 구축 가능
• 무코드 설정: Vector top-K, Prompt templates, Model temperature 등 매개변수 조정 가능
• 다중 모델 지원: DashScope, OpenAI, DeepSeek 등 다양한 LLM 호환

3. 시스템 구성 및 설치 단계

• Ollama 설치: 로컬에서 deepseek-r1 모델 실행, embedding 및 reasoning 처리
• Docker 및 PostgreSQL: pgvector 확장 기능 활성화, localhost:5432 포트에서 실행
• BladePipe 설정: SshFile, PostgreSQL, Ollama 연동, RagApi 서비스 생성 및 API 키 설정

4. DataJob 생성 및 테스트

• Full Data Job: SshFile 소스에서 PostgreSQL로 데이터 전송, knowledge_base 테이블 생성
• Incremental Data Job: 벡터 데이터를 RagApi로 실시간 동기화
• 테스트: curl 명령어로 Authorization: Bearer my-bp-rag-key 헤더 추가 후 API 호출

결론

• 실무 팁: BladePipe와 Ollama를 결합하여 Public network 의존 없이 Fully private RAG 서비스 구축 가능. Zero-code deployment으로 기업용 AI 솔루션의 보안성과 확장성 확보.