Fathom-R1-14B 설치 및 수학 추론 모델 활용 가이드
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
인공지능
대상자
AI/ML 개발자, 연구자, 데이터 과학자 (중급~고급 수준)
핵심 요약
- Fathom-R1-14B는 AIME25(52.71%), HMMT25(35.26%) 등 수학 추론 평가에서 우수한 성능을 보이며, 16K 컨텍스트, $499 후처리 예산으로 경쟁력 있는 모델
- 시스템 요구 사항: RTX A6000 GPU, 40GB VRAM, 50GB 저장공간, Anaconda 설치
- NodeShift 클라우드를 통해 GPU 가상 머신 생성 후 SSH 연결을 통해 Jupyter Notebook에서 모델 실행 가능
섹션별 세부 요약
1. 모델 개요 및 성능
- Fathom-R1-14B는 Fractal AI가 IndiaAI Mission 프로젝트로 개발한 14B 파라미터 수학 추론 전문 모델
- o3-mini, Light-R1-14B 등 오픈소스 모델보다 AIME25, HMMT25에서 높은 점수 기록
- o4-mini-low 등 프로페셔널 모델과 비등가 성능을 유지하면서도 저비용, 소형 컨텍스트로 실행 가능
2. 시스템 요구 사항
- GPU: 1x RTXA6000 또는 1x A100 (40GB VRAM 이상 필요)
- 저장공간: 최소 50GB (권장 200GB)
- 소프트웨어: Anaconda 설치 필수
- NodeShift 클라우드 사용 권장 (GDPR, SOC2, ISO27001 인증 지원)
3. NodeShift GPU 가상 머신 생성
- GPU 유형: 1x RTX A6000 (48GB), 64vCPUs, 63GB RAM, 200GB SSD 선택
- 인증 방식: SSH 키 사용 권장 (보안성 향상)
- 이미지 선택: Nvidia Cuda 기반 이미지 선택
4. Anaconda 환경 구성
- 가상 환경 생성:
conda create -n fathom python=3.11 -y && conda activate fathom - 필수 라이브러리 설치:
```bash
pip install torch torchvision torchaudio einops timm pillow
pip install git+https://github.com/huggingface/transformers.git
pip install huggingface_hub sentencepiece bitsandbytes protobuf decord numpy
```
5. Jupyter Notebook 설정 및 모델 실행
- Jupyter 설치:
```bash
conda install -c conda-forge notebook ipywidgets -y
jupyter notebook --allow-root
```
- SSH 포트 전달:
```bash
ssh -L 8888:localhost:8888 -p
```
- 모델 추론 예시:
```python
from transformers import pipeline
pipe = pipeline("text-generation", model="FractalAIResearch/Fathom-R1-14B")
pipe(messages, max_new_tokens=1024)
```
결론
- Fathom-R1-14B는 저비용, 고성능 수학 추론 모델로, NodeShift 클라우드를 활용하면 간단한 설정으로 실행 가능
- SSH 키 기반 보안 연결, Jupyter Notebook을 통한 모델 테스트가 핵심
- AIME25/HMMT25 등 수학 문제에 대한 자동 생성 응답 기능을 활용해 연구/교육 목적의 모델 실험 가능