멀티모달 요약 엔진 아키텍처 구축

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

DevOps

대상자

• 대상자: API 개발자, 시스템 아키텍처 설계자, 멀티모달 데이터 처리 엔지니어
• 난이도: 중간(모듈 분리, 인터페이스 설계, 병렬 처리 이해 필요)

핵심 요약

• 멀티모달 엔진 아키텍처: 비디오/오디오/메타데이터 통합 처리, fidget-v2.3.1 모델 사용
• 엄격한 인터페이스: 모든 모듈은 JSON 기반 입력/출력 파라미터를 공유
• 확장성 기반 설계: 새로운 모달리티 추가 시 동일한 인터페이스 적용 가능

섹션별 세부 요약

1. API 설계

• 단일 엔드포인트: POST /v1/summarize
• 보안 및 제한: 사용자 쿼터, 토큰 권한, HTTP 400 오류 처리
• 예제 요청/응답:

```bash

curl -X POST -H "Authorization: Bearer sk-f9b9ba37-33b6-40e6-840e-e874d38e04a4" ...

```

• 모델 버전: fidget-v2.3.1

2. 시스템 흐름

• 인증 → 제한 → 디스패처 순서로 요청 처리
• 모듈 분리: 각 모듈은 독립적 처리로 병렬 처리 가능
• 인터페이스 기준: JSON 객체, 표준화된 오류 코드, 버전 관리

3. 모달리티 선택 기준

• 관련성: 비디오 해상도, 비트레이트 등 메타데이터 활용
• 신뢰성: 표준 컨테이너 포맷, 정의된 오디오 코덱 우선
• 신호 대 잡음비: 사용자 생성 태그 대비 오디오 파형의 신뢰도

4. 모듈 구현

• Metadata Extractor: _ffprobe, _id3v2 도구 사용
• Audio Transcriber: GPT 스타일 오미니 모델 적용
• Frame Snapshotter: 신뢰도 기반의 키 프레임 추출
• 공통 입력/출력:

```json

{ "resource_id": "abc123", "input_path": "/tmp/abc123/source.mp4" }

```

5. 데이터 융합

• The Combinator: 모달리티 가중치 적용(예: audio_transcript: 0.4)
• 가중치 설정:

```yaml

key_frame_text: 0.6

```

• 결과 집합: JSON 파일 기반의 디렉토리 구조

결론

• 핵심 팁: 엄격한 인터페이스 설계와 모듈 분리를 통해 확장성 및 유지보수성 확보
• 예시: 새로운 모달리티(예: OCR 자막)는 동일한 인터페이스 적용 가능
• 구현 방법: Pipeline Orchestrator를 통한 모듈 병렬 처리 및 가중치 기반 데이터 융합