RustGPT: 순수 Rust와 ndarray로 LLM을 처음부터 구현한 오픈소스 프로젝트 분석

핵심 기술

RustGPT는 외부 머신러닝 프레임워크 없이 순수 Rust 언어와 ndarray 라이브러리만을 활용하여 트랜스포머 기반의 거대 언어 모델(LLM)을 처음부터 구현한 오픈소스 프로젝트입니다. 사전 학습 및 지시 튜닝을 통해 언어 이해 및 생성 능력을 갖추도록 설계되었으며, LLM의 내부 작동 원리를 학습하고 Rust 생태계에서 ML 시스템을 구축하려는 개발자에게 중요한 참고 자료를 제공합니다.

기술적 세부사항

• 아키텍처: 전형적인 LLM 아키텍처(토크나이저 → 임베딩 → 트랜스포머 블록 → 출력 프로젝션)를 따릅니다.
• 핵심 구성 요소: 트랜스포머 블록(멀티헤드 어텐션, 피드포워드 네트워크), 임베딩, 출력 프로젝션 레이어, Adam 옵티마이저 등을 Rust 코드로 직접 구현했습니다.
• 의존성: ndarray (선형대수 연산) 및 rand, rand_distr (난수 초기화) 외 외부 ML 프레임워크(PyTorch, TensorFlow 등)를 사용하지 않습니다.
• 학습: 사전 학습(100 epoch)과 지시 튜닝(100 epoch)을 거치며, cross-entropy loss와 Adam 옵티마이저를 사용합니다.
• 하이퍼파라미터: 임베딩 차원 128, 히든 레이어 256, 최대 시퀀스 길이 80 토큰, 학습률 0.0005(사전 학습) / 0.0001(지시 튜닝), gradient clipping (L2 norm 5.0) 등의 설정이 포함됩니다.
• 토크나이저: 구두점 처리 기능을 포함한 맞춤형 토크나이저를 사용합니다.
• 텍스트 생성: 그리디 디코딩 기반의 텍스트 생성을 지원합니다.
• 모듈화: main.rs, llm.rs, transformer.rs, self_attention.rs, feed_forward.rs, embeddings.rs, output_projection.rs, adam.rs 등 모듈화된 소스 구조와 각 모듈에 대한 테스트 코드를 제공합니다.
• 학습 과정: 어휘집 생성, 사전 학습, Instruction 튜닝 단계를 포함합니다.
• 인터랙티브 모드: 학습 완료 후 프롬프트-응답 기반 대화 테스트를 지원합니다.

개발 임팩트

• 교육적 가치: LLM의 내부 작동 원리와 딥러닝의 기본 개념(트랜스포머, 백프로파게이션 등)을 Rust 코드로 직접 구현하며 학습할 수 있습니다.
• 프레임워크 의존성 탈피: Python 기반 프레임워크 없이 Rust만으로 복잡한 ML 모델을 구현할 수 있음을 보여주며, Rust 생태계에서의 ML 개발 가능성을 확장합니다.
• 코드 품질 및 이해도: 모듈화된 구조, 테스트 코드, 명료한 인터페이스를 통해 코드의 이해도와 유지보수성을 높입니다.
• 실험 및 확장: "처음부터 직접 만드는 LLM" 학습 경험과 다양한 실험 및 개선에 적합한 기반을 제공합니다.

커뮤니티 반응

• Rust로 LLM을 직접 구현할 수 있다는 점에 대해 긍정적인 반응이 많으며, Python의 의존성 문제에 대한 공감대가 형성되어 있습니다.
• 코드의 간결함과 Rust의 메모리 안전성이 트랜스포머 구현에 유용하다는 의견이 있습니다.
• 모듈형 구조와 명료한 인터페이스에 대한 긍정적인 평가가 있습니다.
• 일부에서는 절차적/객체지향 스타일이 Rust의 함수형 스타일에 비해 덜 이상적일 수 있다는 지적도 있으나, 아이디어 실험으로는 충분히 가치 있다는 평가입니다.
• AI 생성 코드에 대한 언급과 중복 코드 제거 필요성 등이 제기되었습니다.
• GPU 활용의 어려움, 백프로파게이션 로직 디버깅의 고통스러운 부분 등에 대한 토론이 있었습니다.
• uv와 같은 Python 환경 관리 도구 추천이 있었습니다.
• 데이터셋 출처 및 LLM 트레이닝 데이터셋 추천에 대한 질문이 있었습니다.