# 분야
**프로그래밍/소프트웨어 개발**
실시간 AI 음성 대화 시스템 구축에 관심 있는 개발자, 저지연 처리 기술을 활용한 애플리케이션 개발자, Docker 및 FastAPI를 사용한 배포 전략을 탐색하는 개발자 대상.
---
## 대상자
- **저지연 실시간 음성 처리**에 초점을 맞춘 개발자
- **AI 모델 및 TTS 엔진 선택**의 유연성을 요구하는 프로젝트 팀
- **Docker 기반 배포** 및 **FastAPI 서버 구조**를 활용하는 개발자
- **Python 3.9 이상**, **CUDA 지원 GPU**를 사용하는 ML 엔지니어
---
## 핵심 요약
- **실시간 AI 음성 대화 시스템** 구축: 500ms 이내 저지연 처리를 목표로 한 클라이언트-서버 아키텍처
- **핵심 기술 스택**:
- **백엔드**: `FastAPI` (Python 3.9+), `transformers`, `torch`, `ollama`, `openai`
- **프론트엔드**: Vanilla JS, Web Audio API, AudioWorklets
- **통신**: WebSockets
- **배포**: Docker Compose (Linux 권장)
- **오디오 처리**: `numpy`, `scipy`, `RealtimeSTT`, `RealtimeTTS`
- **유연성**:
- **LLM 백엔드**: Ollama (기본), OpenAI API 지원
- **TTS 엔진**: Kokoro, Coqui, Orpheus 선택 가능
- **최적화 기법**:
- **오디오 청크 스트리밍**을 통한 저지연 처리
- **동적 침묵 감지**: `turndetect.py`로 대화 속도에 맞춘 턴 테이킹 처리
---
## 섹션별 세부 요약
### 1. **아키텍처 및 기술 설계**
- **클라이언트-서버 구조**: WebSockets를 통해 실시간 오디오 스트리밍
- **저지연 최적화**: 오디오 청크 스트리밍으로 500ms 이내 지연 처리
- **동적 턴 테이킹**: `turndetect.py`를 사용한 대화 중 침묵 감지 및 자동 전환
- **유연한 확장성**: LLM 백엔드와 TTS 엔진을 플러그인 방식으로 지원
### 2. **주요 구성 요소 및 파이프라인**
- **오디오 처리 파이프라인**:
- `capture` → `stream` → `transcribe` (RealtimeSTT) → `think` (AI 처리) → `synthesize` (RealtimeTTS) → `return`
- **실시간 피드백**: 부분 전사 및 AI 응답을 실시간으로 화면에 노출
- **중단 처리**: 대화 중간에 끼어들어도 시스템이 안정적으로 처리
### 3. **배포 및 환경 요구사항**
- **Docker 기반 배포**:
- `docker-compose up -d`로 빠른 시작 가능
- 의존성 관리 및 Ollama 컨테이너 통합
- **수동 설치 옵션**:
- 가상 환경 활성화 후 FastAPI 서버 직접 실행
- ML 의존성 관리 필요 (e.g., `torch`, `transformers`)
- **시스템 요구사항**:
- **운영체제**: Linux (Docker 권장)
- **GPU**: CUDA 지원 NVIDIA GPU (성능 향상)
- **Python**: 3.9 이상
- **Docker**: v2+ 버전 사용 권장
### 4. **기술적 고려사항**
- **오디오 처리 라이브러리**: `numpy`, `scipy`를 통한 신호 처리
- **AI 모델 호환성**: `transformers`, `torch`, `torchaudio`를 기반으로 다양한 모델 지원
- **API 키 관리**: Ollama 및 OpenAI API 키는 선택 사항
---
## 결론
- **실시간 AI 음성 대화**를 구현하기 위한 최적화된 아키텍처와 유연한 기술 스택을 제공
- **Docker Compose**를 통한 간편한 배포 및 **LLM/TTS 엔진 선택**의 자유로움
- **저지연 처리**를 위한 오디오 청크 스트리밍 및 동적 침묵 감지 기법으로 실제 대화 경험을 구현
- **개발자 팁**:
- Docker를 사용하면 의존성 관리가 용이하며, 수동 설치 시 가상 환경 설정 필수
- GPU가 있는 환경에서 성능 최적화를 위해 `CUDA`를 활성화 권장
