Zenikast 팟캐스트, Gemini와 Vertex AI Studio를 활용한 오디오 트랜스크립션 효율화 경험

핵심 기술

본 글은 AI 기술, 특히 Google의 Gemini 모델과 Vertex AI Studio를 활용하여 팟캐스트 오디오 트랜스크립션의 정확성과 효율성을 개선한 Zenikast 팀의 경험을 공유합니다. 접근성 향상을 목표로 기존 Whisper Transcribe의 한계를 극복하고 Gemini의 발전된 능력을 탐구합니다.

기술적 세부사항

• 목표: 팟캐스트 에피소드의 높은 정확도와 가독성을 갖춘 텍스트 트랜스크립션 생성.
• 초기 접근:
  • 다양한 Node.js, Java 기반 도구 및 설치형 도구 테스트.
  • Whisper Transcribe 사용: 무료 버전으로 테스트, 뛰어난 음성 인식 및 화자 분리(diarization) 기능 제공. 그러나 완벽한 트랜스크립션을 위해 수 시간의 재검토 필요 및 유료화.
• Google Gemini 및 Vertex AI Studio 도입:
  • Vertex AI Studio를 통해 .mp3 또는 .wav 파일 업로드 후 코드 없이 Gemini에게 트랜스크립션 요청.
  • Gemini 2.5 Pro (preview)의 멀티모달 기능(텍스트, 이미지, 오디오, 비디오 처리) 및 향상된 추론 능력 활용.
  • 첫 번째 프롬프트: 오디오 파일 및 발화자(Jean-Philippe, Benjamin) 정보 제공 후 단순 트랜스크립션 요청. 결과는 매우 만족스러웠으며, 오류 및 환각 현상이 적음.
  • 두 번째 프롬프트: 트랜스크립션 요청과 함께 구어체 표현(틱), 반복 단어 등 제거하여 가독성 향상 요청. "du coup", "euh", "voilà" 등 불필요한 표현을 제거하여 유려한 결과물 도출.
• Grounding 기능 활용:
  • Google 검색, Google Maps 등 외부 데이터 소스와 Gemini를 연결하여 환각 현상 감소 및 답변의 신뢰성/감사성 증대.
  • RAG Engine, Vertex AI Search, Elasticsearch 등 자체 데이터와 연동 가능.
• 효율성 개선:
  • 이전: 3-4시간 소요되던 재검토 및 수정 시간 → 현재: 약 30분.
  • 향후 Google의 AgentSpace, Agent2Agent (A2A), Agent Development Kit (ADK) 등을 통한 더욱 간소화된 프로세스 기대.

개발 임팩트

AI 기반 트랜스크립션 도구를 활용하여 콘텐츠 제작 워크플로우의 효율성을 극적으로 향상시켰습니다. 이는 팀원들의 시간 절약뿐만 아니라, 팟캐스트 접근성 향상이라는 Zenika의 가치를 실현하는 데 기여했습니다. 특히 Gemini의 발전된 기능은 단순 트랜스크립션을 넘어 콘텐츠 가공 및 정제까지 가능하게 하여, 정보 전달력을 높였습니다.

커뮤니티 반응

글에서 직접적인 커뮤니티 반응 언급은 없으나, Whisper Transcribe 프로젝트에 대한 감사를 표현하고 있습니다.