과학 연구를 위한 도메인 특화 LLM 구축: 파이프라인 설계 및 NEXA-MOE-MINI 훈련 심층 분석

핵심 기술

본 콘텐츠는 과학 분야의 고품질, 도메인 특화 언어 모델(LLM) 구축을 위한 포괄적인 Python 파이프라인을 소개합니다. arXiv, PubMed, FineWeb-Edu 등에서 데이터를 수집, 정제, 토큰화하여 NEXA-MOE-MINI와 같은 과학 분야에 최적화된 Mixture-of-Experts (MoE) 모델을 훈련하고 Hugging Face를 통해 공유하는 전 과정을 다룹니다.

기술적 세부사항

• 데이터 소스 통합: arXiv (물리학, 생물학, 재료과학 관련 논문), PubMed (생물학 초록), FineWeb-Edu (교육 콘텐츠)에서 데이터를 수집합니다.
• 데이터 전처리 파이프라인 (main_2.py):
  • 텍스트 정규화 및 불필요한 내용 제거 (acknowledgments 등).
  • 의미론적 일관성을 유지하며 텍스트를 문단 단위로 분할.
  • 과학 어휘에 최적화된 QLoRAPreprocessor를 사용한 토큰화.
  • 도메인 ([PHYS], [BIO], [MAT]), 태스크 ([HYP], [MTH], [EXP]), 라우팅 ([GEN], [SPEC]) 등 의미론적 태깅.
  • Shannon entropy를 활용한 정보량 기반 필터링으로 저품질 데이터 제거.
  • 결과물: JSONL (약 15GB) 및 Arrow 포맷 (약 3.13GB).
• 모델 훈련 (NEXA-MOE-MINI):
  • 1.1억 개의 파라미터를 가진 MoE 모델 (BERT 기반 라우터, T5 기반 전문화된 3개 전문가).
  • 의미론적 태그 기반의 소프트 라우팅 (top-k, k=1).
  • QLoRA (4-bit/8-bit 양자화, 어댑터 레이어)를 사용한 파인튜닝.
  • 최적화: Adam, AzureSky Optimizer, 혼합 정밀도, 그래디언트 체크포인팅.
• 데이터셋 및 모델 공유 (hf_upload.py):
  • Hugging Face Datasets를 사용한 JSONL에서 Arrow로 변환 및 저장.
  • Git LFS 호환성을 위한 대용량 파일 분할 및 업로드.
  • README.md 자동 생성 및 Hugging Face 리포지토리 관리 (Allanatrix/Scientific_Research_Tokenized).
  • 네트워크 실패 대비 재시도 로직 구현.
• 자원 및 성능: Intel i5 vPro CPU, 듀얼 NVIDIA T4 GPU, PyTorch, Hugging Face Transformers 라이브러리 활용.
  • 약 5억 토큰 전처리: 10-12시간.
  • 1.1억 파라미터 모델 훈련: 40시간 (Kaggle GPU 기준).
  • 3.13GB 업로드: 1-2시간.

개발 임팩트

이 파이프라인은 과학 연구 분야에 특화된 LLM 개발을 위한 재사용 가능한 '연구 OS' 역할을 합니다. 이를 통해 과학적 가설 생성, 방법론 설계, 문헌 요약 등 복잡한 연구 작업을 자동화하고 가속화할 수 있습니다. 또한, 공개된 데이터셋은 재현성 및 협업을 증진하며, 향후 더 큰 규모의 모델 (ULTRAMAX 등) 개발을 위한 기반을 제공합니다.

커뮤니티 반응

언급되지는 않았지만, Hugging Face에 공개되는 점은 개발자 커뮤니티에서의 즉각적인 활용 및 피드백을 기대하게 합니다.