LangChain 기반 AI 챗봇으로 29CM 백엔드 개발팀의 CS 업무 8시간 이상 자동화 사례

29CM 백엔드 개발팀의 LangChain 기반 CS 업무 자동화 사례 분석

핵심 기술

29CM 세일프라이싱팀은 반복적이고 비효율적인 CS(Customer Service) 업무를 LangChain 기반의 AI 챗봇을 활용하여 자동화했습니다. 이 솔루션은 LLM(Large Language Model)과 RAG(Retrieval-Augmented Generation) 기법을 접목하여 내부 문서 및 API와의 연동을 통해 복잡한 요청을 이해하고 처리하며, 이를 통해 개발자의 생산성을 획기적으로 향상시켰습니다.

기술적 세부사항

• 문제 정의: 스프린트당 평균 16.45건, 하루 평균 3건 이상의 CS 업무 발생. CS 처리 시간 평균 30분 소요, 개발 리소스의 8시간 이상이 CS 업무에 할애되어 핵심 기능 개발 저해.
• 기술 스택 및 프레임워크: LangChain, LLM (GPT, LLaMA 등), RAG (Retrieval-Augmented Generation), Spring Boot (호환성).
• 핵심 아키텍처:
  • Slack을 통한 자연어 요청 수신.
  • LangChain을 이용한 요청 내용 분석 및 시나리오(예: 상품 정보 변경) 선택.
  • RAG 기법을 활용하여 Confluence 등 내부 문서에서 관련 API 문서 검색.
  • LLM을 통해 API 실행에 필요한 파라미터 추론.
  • 승인 기반 가드레일: AI가 추론한 API 정보, 파라미터, 예상 결과를 사용자에게 사전 제공하고 승인을 받아 안전성과 신뢰성 확보.
  • 승인 후 실제 API 실행 및 결과 응답.
• 보안 및 권한 관리:
  • 정보 변경 API 호출 시 그룹/역할 기반 권한 검사.
  • 모든 요청 및 실행 기록 영구 보존 (Slack 메시지, API 응답, LLM 추론 결과 등).
• 비용 및 보안: RAG를 통해 실시간 내부 문서 검색으로 보안, 비용, 정확도 측면 모두 효율적인 구조 구현.
• 기존 대비 개선점 (As-is vs To-be):
  • 처리 시간: 평균 30분 이상 → 평균 3분 이내.
  • 개발자 CS 업무 시간: 주당 8시간 이상 → 0분.
  • KTLO(Keep the lights on) 비중: 50% 감소 (2025년 2분기 기준).
• 유지보수 및 확장성: 단순 Wiki 문서 수정을 통한 새로운 시나리오 추가 및 로직 수정 가능 (배포 없는 개선).

개발 임팩트

• 생산성 향상: 반복적인 CS 업무 자동화를 통해 개발팀은 핵심 기능 개발 및 시스템 개선에 집중할 수 있게 되어 팀 전체의 전략적 업무 집중도 향상.
• 업무 효율 극대화: CS 요청 처리 시간이 1분 이내로 단축되어 업무 몰입도 및 처리 만족도 증가.
• 안정성 및 신뢰성 확보: 승인 절차 및 권한 관리를 통해 AI 기반 자동화 시스템의 안정성과 신뢰성을 높여 기업 운영에 적합한 구조 구축.
• 기술 발전 방향: 단순 응답 자동화를 넘어 사내 업무 문맥을 이해하고 실행하는 구조화된 AI 프로세스의 가능성을 확인하고, 향후 더 많은 업무 시나리오로 확장할 계획.

커뮤니티 반응

(원문에서 직접적인 커뮤니티 반응 언급은 없으나, LangChain의 높은 채택률 및 풍부한 문서, 실제 사례를 도입 결정의 주요 요인으로 언급함)