Jupyter에서 프로덕션 API까지: 고객 이탈 예측 ML 파이프라인 구축 사례

핵심 기술

본 콘텐츠는 머신러닝 모델 개발부터 실제 프로덕션 환경에서의 API 서비스 구축까지, ML 라이프사이클 전반을 다루는 실용적인 가이드입니다. 특히 Jupyter Notebook에서 개발된 모델을 FastAPI 기반의 서비스로 배포하고, 사용자 관리 및 데이터 영속성을 확보하는 과정을 상세히 보여줍니다.

기술적 세부사항

• ML 파이프라인 구축: scikit-learn의 Pipeline과 사용자 정의 Transformer를 활용하여 도메인 특화된 피처 엔지니어링 로직을 캡슐화하고 재현성을 확보했습니다.
  • durationTransform 클래스를 사용하여 날짜 데이터를 기반으로 구독 기간을 계산하는 커스텀 트랜스포머 구현.
  • ColumnTransformer를 이용한 OneHotEncoder와 커스텀 트랜스포머의 조합.
• 불균형 데이터 처리: 고객 이탈과 같은 불균형 데이터셋 문제를 해결하기 위해 resample을 이용한 언더샘플링 기법을 적용하여 모델 성능을 향상시켰습니다.
• FastAPI 프로덕션 API: RESTful API를 통해 ML 모델을 서비스하기 위한 FastAPI 기반의 애플리케이션을 구축했습니다.
  • pydantic을 활용한 데이터 유효성 검사 및 자동 API 문서 생성 (/docs).
  • 다양한 엔드포인트와 사용자 요청 처리를 위한 구조 설계.
  • 예외 처리(HTTPException)를 통한 견고한 서비스 구축.
• 데이터 영속성 및 사용자 관리: json 파일을 사용하여 사용자 ID 생성, 검증 및 예측 결과 데이터를 저장하는 기능을 구현했습니다.
  • validuser 함수: 사용자 ID의 중복을 방지하고 신규 ID를 발급하는 로직.
  • saveprediction 함수: 예측 결과를 사용자 데이터와 함께 파일에 저장하는 로직.
• 모델 직렬화: cloudpickle 라이저를 사용하여 커스텀 트랜스포머를 포함한 복잡한 ML 파이프라인 및 모델 객체를 안전하게 저장하고 로드했습니다.
• 시스템 아키텍처: Jupyter Notebook에서의 개발, FastAPI 서비스, 프로덕션 배포 단계를 포함하는 전체 시스템 구조를 시각적으로 제시했습니다.

개발 임팩트

• ML 모델의 프로덕션 배포 장벽을 낮추고 실제 서비스 적용 가능성을 높입니다.
• 코드의 재현성과 일관성을 보장하여 개발 및 유지보수 효율성을 증대시킵니다.
• 데이터 유효성 검사 및 견고한 오류 처리를 통해 시스템 안정성을 확보합니다.
• MLOps 파이프라인 구축에 대한 실질적인 경험과 노하우를 제공합니다.

커뮤니티 반응

언급되지 않았습니다.