Ollama: 컴퓨터에서 LLM을 로컬로 쉽게 실행하는 방법

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

• 개발자 및 AI 관심자
• 초보자 및 중급자 대상 (CLI 기반 설정, 하드웨어 제한 유의)

핵심 요약

• Ollama는 LLM을 로컬에서 실행할 수 있는 CLI 도구로, 클라우드 의존 없이 모델을 관리 가능
• 주요 명령어: ollama run [모델명], ollama list, ollama rm [모델명] (코드 형식 강조)
• RAM 제한 (4GB 시 1B 모델 권장)이 성능 저하의 주요 원인

섹션별 세부 요약

1. Ollama 소개 및 설치

• Ollama는 LLaMA, Mistral 등 다양한 LLM을 로컬에서 실행 가능
• 설치 방법:
• 웹사이트 다운로드 → OllamaSetup.exe 설치 (Windows 기준)
• Linux/macOS 사용자도 동일한 페이지에서 설치 파일 제공

2. CLI 사용법

• ollama 명령어로 사용법 가이드 확인 가능
• ollama list: 설치된 모델 목록 확인
• ollama run llama3.2:1b: 모델 실행 (자동 다운로드 및 세션 시작)
• ollama rm llama3.2:1b: 모델 삭제 및 디스크 공간 해제

3. RAM 제한 및 성능 문제

• 4GB RAM 시 Llama 3.2 1B 모델이 최소 요구 사항 충족
• 8GB RAM 이상이면 7B 모델, 16GB 이상이면 13B 모델 실행 가능
• 부족한 RAM 시 디스크 가상 메모리 사용 → 성능 저하 (1-3분 이상 응답 지연)

결론

• Ollama는 로컬 LLM 실험에 유리한 도구이지만, RAM 사양 확인 필수
• 1B 모델 선택이 성능 최적화에 도움 (예: ollama run llama3.2:1b)
• 하드웨어 제한을 고려한 모델 선택이 실무 적용의 핵심 팁