코딩 없이 LLM 파인튜닝: AI 개발 시대 엔지니어의 역할 탐구

핵심 기술

AI의 도움만으로 LoRA 파인튜닝을 포함한 LLM 개발 전 과정을 자동화하는 실험을 통해 AI 시대 엔지니어에게 필요한 역량을 탐구합니다. 비전공자도 코딩 없이 LLM을 구축할 수 있다는 가능성을 제시하며, 실제 경험을 바탕으로 한 구체적인 구현 과정과 문제 해결 방안을 공유합니다.

기술적 세부사항

• 목표: 코딩 없이 LoRA 파인튜닝을 통해 LLM 구축
• 주요 개발 환경: Cursor (Claude 3.7 Sonnet 통합 Agent), Claude Desktop
• 사전 준비:
  • Python 및 Java 개발 학습 중
  • Docker 환경 구축 및 CUDA 활용 설정
• 베이스 모델 선택: ELYZA-japanese-CodeLlama-7b (7B 모델, 코드 생성 능력, 일본어 사전 학습)
• 데이터셋 구축: GitHub, AtCoder에서 Python 및 Java 관련 코드 데이터 스크래핑
  • GitHub: 1000+ 스타 리포지토리, 고품질 코드, 프로덕션 코드 구조 학습 목적
  • AtCoder: 알고리즘 패턴, 효율적인 코드, 경쟁 프로그래밍 솔루션
  • Qiita: 초기 대상이었으나 데이터 품질 문제로 제외
• 파인튜닝 방식: LoRA (Parameter-Efficient Fine-Tuning)
• 구현 단계:
  1. 환경 설정 및 사전 준비
  2. 베이스 모델 다운로드
  3. 커스텀 데이터셋 포맷팅 (JSON)
  4. LoRA 파인튜닝 실행
  5. 추론 코드 구현
  6. 모델 배포 및 결과 확인
• AI 활용 및 문제 해결:
  • 초기 프롬프트: Dockerfile, Docker Compose, CUDA 설정, 데이터 스크래핑(GitHub, Qiita, AtCoder), 데이터 포맷팅(JSON), LoRA 파인튜닝, 추론 코드, README.md 문서화 포함
  • 문제 1: Docker Compose CPU/메모리 미할당, AtCoder 압축 시간 과대 추정
    • 원인: 호스트 PC 사양 대비 부적절한 Docker Compose 생성
    • 해결: WSL 환경 고려 및 메모리/GPU/CPU 할당 지침 추가 프롬프트, WSLConfig 수동 조정
  • 문제 2: API 오류 (스크래핑 제약 불명확)
    • 원인: 스크래핑 제약 조건 정의 부족, 필터링 설정 미흡
    • 해결: GitHub 스크래퍼 제약 조건 명확화 (API 간격, 파일 인코딩, 파일 크기, 파일 확장자 필터링, 스타 수 제한, 디렉토리 탐색 깊이, 병렬 처리)
  • 문제 3: TensorBoard 설치 오류
    • 원인: TensorBoard 누락
    • 해결: TensorBoard 설치
  • 문제 4: LoRA 어댑터 로딩 실패, 반복적인 비정상 응답
    • 원인: 데이터셋 클리닝 최적화 부족
    • 해결: 데이터셋 재정제 및 LoRA 재학습 (3회차 성공)
  • 문제 5: HumanEval 벤치마크 실패 (LoRA 학습 시 3-스페이스 들여쓰기 vs PEP 8 4-스페이스 들여쓰기 불일치)
    • 원인: 데이터셋의 들여쓰기 스타일 불일치
• 개발 임팩트: AI를 활용하면 코딩 능력이 부족해도 LLM 파인튜닝이 가능하다는 것을 입증하며, AI 시대 엔지니어는 코드 작성 능력보다 AI 도구를 '지시'하고 '협업'하는 능력이 중요해짐을 시사합니다. AI의 한계를 이해하고 디버깅 및 개선하는 능력이 필수적임을 강조합니다.

커뮤니티 반응

원문에는 직접적인 커뮤니티 반응이 언급되지 않았으나, GitHub 저장소 공유를 통해 개발자 간의 지식 공유 및 협업을 장려하고 있습니다.

톤앤매너

경험을 공유하는 개인적인 여정에서 시작되었지만, 기술적 난관과 해결 과정을 구체적으로 제시하며 전문적이고 실용적인 톤을 유지합니다.