DJL과 Spring AI를 활용한 Java 애플리케이션에서의 제로샷 분류 구현 및 개선

핵심 기술

본 콘텐츠는 Deep Java Library (DJL)를 활용하여 Java 애플리케이션 내에서 제로샷 텍스트 분류 모델을 효율적으로 통합하고 사용하는 방법을 상세히 설명합니다. 특히 Hugging Face의 Transformer 모델과의 연동 및 모델 변환, 커스터마이징에 대한 실질적인 가이드를 제공합니다.

기술적 세부사항

• DJL 소개: Java 기반의 머신러닝 라이브러리로, 다양한 엔진(PyTorch, TensorFlow 등)을 지원하며 Hugging Face 모델을 쉽게 로드하고 사용할 수 있는 기능 제공.
• 제로샷 분류 (Zero-Shot Classification):
  • 정의: 학습되지 않은 범주에 대해서도 텍스트를 분류하는 기계 학습 기법.
  • 작동 방식: 문장(Premise)과 가설(Hypothesis) 간의 유사도를 측정하여 분류. multi_label 옵션을 통해 다중 레이블 분류도 지원.
  • 예시 모델: MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli, facebook/bart-large-mnli.
• DJL 모델 통합:
  • Criteria 클래스를 사용하여 모델 로딩 설정 (모델 URL, 엔진, 입출력 타입, Translator).
  • ZeroShotClassificationInput 및 ZeroShotClassificationOutput 클래스를 활용한 간편한 입출력 처리.
  • ModelZoo.loadModel(criteria)를 통한 모델 로딩 및 Predictor를 사용한 예측 수행.
• 모델 호환성 문제 해결:
  • DeBERTa와 같은 특정 모델에서 token_type_ids 미지원, 잘못된 Softmax 구현 등의 문제 발생.
  • 모델 설정 파일 분석 및 DJL Translator 로직 조정으로 해결.
  • Python Transformer 라이브러리와 동등한 결과 도출 가능.
• djl-convert 도구: Hugging Face의 Python 기반 모델을 DJL 호환 형식으로 변환하는 도구 소개.

개발 임팩트

• Java 애플리케이션에서 최신 머신러닝 모델을 직접 실행하여 ML 기능 통합 용이성 증대.
• 다양한 Hugging Face 모델을 DJL을 통해 손쉽게 활용 가능.
• 모델 호환성 문제 해결을 통해 특정 모델 사용 제약 완화 및 활용 범위 확장.
• DJL 프로젝트에 기여하여 라이브러리 개선 및 생태계 발전에 참여할 수 있는 경로 제시.

커뮤니티 반응

콘텐츠에서 직접적인 커뮤니티 반응을 언급하지는 않지만, DJL의 Spring AI 및 Redis OM Spring 연동 사례를 통해 Spring 생태계에서의 활용 가능성을 보여주며 긍정적인 관심을 시사하고 있습니다.