LLM들은 얼마나 클까? (2025년 현황)

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

AI/ML 개발자, 연구자, 대규모 언어 모델 사용자

핵심 요약

• LLM 파라미터 규모 급증: GPT-3(1.75T) → Llama-3.1(405B), DeepSeek V3(6.7T), MoE 구조 확산
• Dense vs MoE 아키텍처 대립: MoE(예: Mixtral-8x22B)가 리소스 효율성 향상, GPT-3급 성능 달성 가능
• 오픈소스화로 실무 적용 가능성 확대: Llama-3.1 405B, Mistral의 MoE 모델 등 GPT-3/4 수준 모델 공개

섹션별 세부 요약

1. GPT 시리즈의 파라미터 변화

• GPT-2(1.3B~16B) → GPT-3(1.75T) → GPT-3.5/4(비공개)
• GPT-3 훈련 데이터: 4000B 토큰, A100 GPU 수천대 사용
• GPT-3.5/4는 아키텍처/데이터 공개 없음

2. Llama 시리즈의 진화

• Llama 1: 7B~65B, 1.4T 토큰 학습, Books3 데이터 논란
• Llama 2: 7B/13B/70B, 대화형 버전 및 RLHF 지원, 상업적 사용 허용
• Llama 3.1: 405B dense 파라미터, 3.67T 토큰 학습(2.87T+800B 롱컨텍스트+400B annealing)
• Llama 4: 2T MoE, A288B 16E 구조(활성 2.88B), 내부 실험 모델로 외부 공개 제한

3. MoE 아키텍처의 확산

• MoE(예: Mixtral-8x22B): 1.41T 총 파라미터, 활성 390B, 리소스 효율성 향상
• Dense vs MoE 성능 비교 불확실: 순수 텍스트 엔진 vs 어시스턴트 성향 차이
• MoE의 장점: 분산 환경에서 초대형 모델 실행 가능, 학습/배포 난이도 낮춤

4. 데이터 및 모델 성능의 한계

• 합성 데이터 활용: GPT-3 생성 데이터로 Llama/70B 모델 학습 → 데이터 품질 저하(데제네레이션) 가능성
• GPT-3 수준 모델 부재 기간: 2020~2023년 중반, Llama 70B로 대체 시도
• 데이터 압축 기술: LLM이 손실 없는 압축 알고리즘으로도 기능(예: 로그 우도 기반 산술 부호화)

5. 향후 트렌드 및 도전 과제

• 특화 모델 개발: 도메인별 최적화 모델 확대, 1TB 인퍼런스 VRAM 목표
• 멀티모달/다국어 지원: 새로운 데이터 유형(이미지, 영상) 포함
• Open-source 모델의 진화: GPT-3 수준 모델이 아닌, 추론형 모델 개발로 비용 이동

결론

• Dense 모델(Llama-3.1 405B)과 MoE 모델(DeepSeek V3 6.7T)의 실무적 선택 고려 필요
• 오픈소스 모델(Llama, Mixtral)이 GPT-3/4 수준 성능 달성 가능 → 실무 적용 확대
• 데이터 품질 관리(합성 데이터 사용 시)와 리소스 최적화(양자화, MoE)가 핵심 성공 요인