오픈소스 AI 모델을 로컬에서 Docker Model Runner로 실행하기

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

• 개발자 (특히 Docker와 AI 모델 활용에 관심 있는 중급 이상 개발자)
• 난이도: 중간 (Docker 설치 및 CLI 사용 기초 필요)

핵심 요약

• Docker Model Runner (DMR)는 GGUF 파일을 OCI 아티팩트로 패키징하고, OpenAI SDK 호환성을 통해 로컬 AI 모델을 실행할 수 있는 Docker 확장 도구
• Docker Hub에서 모델을 끌어다 사용하며, 로컬 캐싱과 필요 시만 메모리 로딩 방식으로 효율적 관리
• Docker Compose v2.35+ 지원으로 다중 컨테이너 애플리케이션에 AI 모델 통합이 용이

섹션별 세부 요약

1. DMR 개요 및 기능

• GGUF 파일을 OCI 아티팩트로 패키징, Docker Hub에서 모델 끌어오기 및 로컬 캐싱 지원
• CLI 및 Docker Desktop GUI를 통해 모델 실행 및 로그 관리 가능
• OpenAI-compatible SDK 사용 가능 (예: openai@^5.6.0)

2. DMR 사용 준비 조건

• Docker Engine 및 Docker Desktop 4.41+ (Windows) 또는 4.40+ (macOS) 설치 필수
• Docker Model Plugin 설치 명령: sudo apt-get install docker-model-plugin
• Docker Compose v2.35+ 필요 (예: docker-compose.yml 파일 구성)

3. DMR 활용 예제 (OpenAI SDK 통합)

• docker model run ai/gemma3:latest 명령으로 모델 실행
• OpenAI SDK 기반 코드 예시:

```ts

import OpenAI from 'openai'

const client = new OpenAI({ baseURL: 'http://localhost:1234' })

const completion = await client.chat.completions.create({ model: 'ai/gemma3:latest' })

```

• 로컬 TCP 포트를 통해 모델에 접근 가능 (예: http://localhost:1234)

4. DMR의 실무 적용 장점

• OpenAI SDK 호환성으로 기존 프로젝트에 쉽게 통합 가능
• Docker Compose 지원으로 AI 모델을 포함한 애플리케이션 배포 간단화
• GGUF 파일 기반 모델의 로컬 개발 및 프로토타이핑 효율성 향상

결론

• Docker Model Runner는 OpenAI SDK 호환성과 Docker Compose 통합으로 로컬 AI 모델 실행을 간소화하며, ai/gemma3와 같은 GGUF 모델을 활용한 실무 개발에 적합
• GitHub 예제 프로젝트 (예: Local Agent Using Docker Model Runner) 참고하여 완전한 애플리케이션 구축 가능