How to Install Fanar-1 9B Arabic-English LLM Locally?

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

- AI 모델 개발자: 다국어 대화 시스템 및 교육 도구 개발에 관심 있는 개발자

- 문화 기술 연구자: 중동 지역의 문화적 맥락을 반영한 NLP 모델 활용을 원하는 연구자

- 교육 기관: 이슬람 가치와 현대 언어 처리 기술을 결합한 교육 콘텐츠 개발자

- 난이도: 중간 (GPU 환경 설정, Python 버전 관리, 모델 배포 등 기술적 지식 필요)

핵심 요약

• Fanar-1-9B-Instruct는 QCRI에서 개발한 아랍어-영어 이중 언어 모델로, Gemma-2-9B 기반으로 1T 토큰의 데이터로 학습됨
• GPU VM 설정을 통해 배포: NodeShift의 NVIDIA CUDA VM 활용, Python 3.11 설치 및 LitGPT 프레임워크 사용
• 문화적 맥락과 이슬람 가치 반영: Gulf/Levantine/Egyptian 방언 및 Modern Standard Arabic (MSA)에 특화

섹션별 세부 요약

1. 모델 개요 및 특징

• QCRI에서 개발, Gemma-2-9B 기반으로 1T 토큰의 데이터로 학습
• 4.5M 명령과 250K DPO 페어로 이슬람 가치와 문화적 이해 강화
• 아랍어-영어 이중 언어 모델로, 정부/교육/시민 기술 분야에 적합

2. 데이터셋 구성

• 515B English 토큰: Dolma 데이터셋에서 선별
• 410B Arabic 토큰: 다양한 출처에서 수집 및 필터링
• 102B 코드 토큰: The Stack 데이터셋에서 추출
• LitGPT 프레임워크 사용

3. GPU VM 설정 절차

• NodeShift 플랫폼에서 GPU Node 생성: RTXA6000 GPU 권장
• SSH 키 인증 설정: 보안 강화
• NVIDIA CUDA VM 이미지 선택: Fanar-1 9B 설치 지원

4. Python 환경 구성

• Python 3.11 설치: deadsnakes PPA 활용
• pip 업데이트: get-pip.py 스크립트 실행
• Python 3.11을 기본 버전으로 설정: sudo update-alternatives 명령 사용

5. 모델 설치 및 실행

• text-generation-webui 레포 클론: git clone 명령 실행
• start_linux.sh 스크립트 실행: CUDA/NVIDIA GPU 백엔드 선택
• QCRI/Fanar-1-9B-Instruct 모델 다운로드 및 로드: python3 download-model.py 명령 사용

6. 사용 예시

• 아랍어-영어 번역: "The weather is beautiful in Doha today." → "الطقس جميل في الدوحة اليوم."
• 문화적 분석: 현대 소설과 사라의 시대의 문학 표현 비교
• 호스피탈리티의 중요성 설명 및 아랍어 번역

결론

• NodeShift 플랫폼에서 GPU VM 설정 후 10분 이내에 Fanar-1 9B 모델 배포 가능
• Python 3.11, CUDA, LitGPT 기반으로 문화적 맥락과 이슬람 가치 반영
• 아랍어-영어 이중 언어 처리 및 교육/정부 애플리케이션에 적합한 AI 모델 선택
• SSH 터널링을 통해 로컬에서 웹 UI 접근 가능: ssh -L 7860:127.0.0.1:7860 명령 사용