Ollama, 새로운 멀티모달 엔진 도입으로 Llama 4 Scout, Gemma 3 등 비전 모델 지원 강화

Ollama, 새로운 멀티모달 엔진 도입으로 비전 모델 지원 강화

핵심 기술: Ollama가 새로운 멀티모달 엔진을 도입하여 텍스트와 이미지를 함께 처리하는 비전 멀티모달 모델 지원을 시작했습니다. 이는 Llama 4 Scout, Gemma 3와 같은 모델을 통해 이미지 기반 질문 응답을 가능하게 하며, 모델 모듈성, 정확도, 메모리 관리 및 추론 성능을 향상시킵니다.

기술적 세부사항:

• 멀티모달 모델 지원: Llama 4 Scout (1090억 파라미터, MoE), Gemma 3 (다중 이미지 분석), Qwen 2.5 VL (OCR, 텍스트 추출) 등 다양한 비전 멀티모달 모델을 지원합니다.
• 새로운 엔진의 특징:
  • 향상된 모델 모듈성 및 파트너/커뮤니티 참여 증진.
  • 정확도 개선 및 효율적인 메모리 관리.
  • 이미지 캐싱, 하드웨어 메타데이터 활용으로 빠른 추론 성능 및 하드웨어 최적화.
  • 모델별 causal attention 최적화 및 세밀한 이미지 처리 로직 구현 (예: 인과적 어텐션, 이미지 임베딩 배치 분할 및 경계 관리).
  • GGML 팀의 텐서 라이브러리를 핵심 요소로 활용하며, Go 언어에서 FFI를 통해 직접 접근 가능.
• 기존 대비 개선점:
  • 기존 ggml/llama.cpp 의존성을 벗어나 자체 강화된 엔진으로 멀티모달 모델을 독립적인 일급 객체로 취급.
  • 기존 텍스트 전용 모델 지원과 달리, 멀티모달에서는 텍스트 디코더와 비전 인코더 분리 및 슬림한 모델별 로직 구현 용이.
  • 모델 제작자는 추가 패치 없이 모델 및 훈련에만 집중 가능.
• 성능 최적화:
  • 이미지 캐싱을 통한 후속 프롬프트 처리 속도 향상.
  • 하드웨어 제조사 및 OS 파트너와 협력하여 메모리 예측 및 KV 캐시 최적화.
  • 모델별 맞춤 설정 제공 (예: Gemma 3 슬라이딩 윈도우 어텐션, Llama 4 Scout 청크드 어텐션, 2D 로터리 임베딩).

개발 임팩트:

• 현지 추론의 신뢰성 및 정확성 향상.
• 음성, 이미지 생성, 비디오 생성, 긴 컨텍스트 지원 등 미래 멀티모달 분야 지원 기반 마련.
• 개발자가 새 모델을 쉽게 통합할 수 있도록 설계하여 개발 생산성 증대.

커뮤니티 반응:

• Ollama가 llama.cpp에 대한 의존성을 끊고 자체 엔진을 구축한 결정에 대한 합리적 판단이라는 의견.
• 멀티모달이라는 용어의 정확한 정의 및 Ollama가 지원하는 기능이 '비전' 모델에 더 가깝다는 지적.
• 구현 방식에 대한 구체적인 정보 부족 및 GitHub 저장소 확인에 대한 기대감 표출.
• Ollama의 투명성 부족, 불투명한 기여 표기, 사용자 중심이 아닌 결정 등에 대한 비판과 함께 이번 글에서는 기여자 표기가 늘어난 것에 대한 놀라움 표현.
• llama 네이밍 관행의 혼란스러움과 AI/ML 발전 속도에 대한 어려움 공유.
• Ollama가 llama.cpp에 제대로 크레딧을 주지 않는 오랜 문제점 지적 및 포크를 통한 코드 활용 구조 설명.
• 자체 디스크 저장 및 레지스트리 도입으로 인한 재사용 불편함 및 파일 중복 저장에 대한 불만 표출.
• Docker와 유사한 사용자 경험 혁신성을 가졌으나, llama.cpp에 대한 인정 부족은 문제로 지적.
• 커뮤니티와 협력하지 않는 점과 VC 투자 기업으로서의 수익 구조에 대한 의문 제기.
• Ollama가 llama.cpp의 프론트엔드 역할임에도 이를 드러내지 않는 태도에 대한 아쉬움 표출.