Paperless-ngx 문서 관리 시스템 OCR 및 LLM 통합을 통한 지능형 자동화 구축

핵심 기술

개인용 문서 관리 시스템 Paperless-ngx의 OCR 및 문서 분류/태깅 기능을 강화하기 위해 PaddleOCR과 로컬 LLM(Ollama)을 활용한 마이크로서비스 기반의 자동화 파이프라인 구축 사례입니다.

기술적 세부사항

• 기존 시스템: Paperless-ngx (자체 호스팅 문서 관리 시스템)
• OCR 엔진 개선: Tesseract 대신 PaddleOCR 도입으로 OCR 정확도 향상
• LLM 활용: Ollama를 통해 로컬에서 Mistral 등 LLM을 실행하여 스마트 문서 제목 제안, 문서 유형 분류 (invoice, id, tax 등), 태그 및 요약 추출
• 아키텍처: 마이크로서비스 아키텍처를 채택하여 각 서비스의 독립성과 확장성 확보
  • paperless-ngx: 핵심 문서 관리 시스템
  • ollama: 로컬 LLM 실행 환경
  • ocr-service: PaddleOCR을 사용한 OCR 처리 FastAPI 서비스
  • pipeline: 문서 다운로드, OCR 및 LLM 처리, 결과 업데이트를 오케스트레이션하는 Python CLI
• 통신 및 배포: Docker와 Docker Compose를 사용하여 모든 서비스를 컨테이너화하고 자체 네트워크 내에서 통신
• 데이터 흐름: Pipeline CLI → Paperless API (문서 다운로드) → OCR 서비스 (텍스트 추출) → Ollama (LLM 처리) → Paperless API (메타데이터 업데이트)
• 주요 구현 고려사항: PaddleOCR 모델 재다운로드 방지를 위한 캐싱 처리

개발 임팩트

• 효율성 증대: 문서 분류, 제목 지정, 태그 추출 등 반복적인 작업을 자동화하여 문서 관리 효율성 극대화
• 정확도 향상: 범용 OCR 엔진 대비 향상된 OCR 및 LLM 기반의 분류/태깅 정확도
• 개인 정보 보호: 모든 처리가 로컬에서 이루어져 외부 LLM 서비스 의존성 및 개인 정보 유출 위험 제거
• 확장성: 마이크로서비스 구조를 통해 각 컴포넌트의 독립적인 업데이트 및 확장이 용이

커뮤니티 반응

• 원문에서는 직접적인 커뮤니티 반응 언급은 없으나, Paperless-ngx 사용자층과 개인 클라우드/AI 기술에 관심 있는 커뮤니티에서 높은 관심을 받을 것으로 예상됩니다.

향후 개선 방향

• 새로운 문서 도착 시 파이프라인 자동 실행
• Paperless-ngx의 토큰 인증을 활용한 서비스 간 인증 강화
• OCR 서비스 성능 향상을 위한 다른 언어(Go, Rust) 고려
• LLM을 활용한 문서 요약 기능 추가
• 금액, 날짜, 발신자 등 메타데이터 추출 기능 강화
• Paperless-ngx의 태그 및 통신 상대(Correspondents) 정보 연동