인도어 LLM 혁명: 14억 인도인의 언어를 AI로 포용하기

핵심 기술

인도의 언어적 다양성을 포용하는 Indic Large Language Models (LLMs) 개발의 중요성과 현황을 조명하며, 인도어 특성에 맞는 AI 모델 구축을 위한 기술적 과제와 해결 방안을 제시합니다.

기술적 세부사항

• 인도어 언어적 특징: 22개 공식 언어와 6억 1,500만 명의 힌디어 사용자 등 방대한 사용자 기반에도 불구하고, 글로벌 모델은 인도어 스크립트 복잡성과 문화적 뉘앙스 이해에 어려움을 겪습니다.
• 토큰화 문제: 인도어는 영어보다 4-8배 많은 토큰을 생성하여 연산 비용을 3배 증가시키며, MuRIL의 전사(transliteration) 학습은 정확도를 14% 향상시켰습니다.
• 문화적 맥락 이해: 단순 번역을 넘어선 Idiom 및 문화적 맥락 이해의 중요성이 강조됩니다. Sarvam-M 24B는 RLVR을 사용하여 문화적 맥락에 맞는 출력을 생성하며, 인도어 작업에서 글로벌 모델 대비 20% 향상된 성능을 보입니다.
• 데이터셋 및 모델:
  • Sarvam-M 24B는 10개 언어에 대한 합성 데이터를 활용하며, 128K 토큰 컨텍스트 창으로 마하바라타 같은 서사시 번역이 가능합니다.
  • Mistral-NeMo는 마라티어, 구자라트어, 오디아어 최적화에 사용됩니다.
  • 로마자 및 네이티브 스크립트 쌍으로 학습하는 '전사 트윈' 접근 방식은 마라티어 위키피디아의 복잡성을 18% 감소시켰습니다.
  • IndicCorp v2(12개 언어, 8.4B 토큰)로 파인튜닝된 오픈소스 모델은 IndicGLUE 벤치마크에서 89.3%의 정확도를 기록했습니다.
  • 국가 NLP 미션은 22개 언어로 768GB의 음성 데이터를 구축 중이며, 50만 명 이상의 보건 종사자를 위한 실시간 번역을 지원합니다.
• 주요 도전 과제:
  • 데이터 부족: Common Crawl 데이터의 0.2%만이 인도어이며, Bhashini의 'Digital India Sankalp'는 크라우드소싱으로 데이터를 확보합니다.
  • 스크립트 복잡성: 타밀어의 247개 복합 문자를 Google의 Indic Tokenizer가 40% 줄였습니다.
  • 높은 연산 비용: 7B 모델 학습 비용은 영어 대비 토큰당 10배 높은 230만 달러입니다.
  • 편향성: 초기 모델은 '주부'를 요리 관련으로만 연결했으나, IndicBiasCheck 툴킷으로 스테레오타입 감사가 가능합니다.
  • 저자원 언어: 산탈리어(700만 사용자)는 28MB의 디지털 텍스트만 존재하며, IIT-Madras는 벵골어에서 교차 언어 전이 학습을 사용합니다.
  • API 생태계 격차: AWS Translate는 22개 언어 중 4개만 지원하며, Tarento와 같은 스타트업이 산스크리트어/툴루어 API를 개발 중입니다.
  • 유해 콘텐츠: 힌디어 소셜 미디어 게시물의 23%가 욕설을 포함하며, IndicToxicity 데이터셋이 8개 언어에서 유해 콘텐츠를 플래깅합니다.
• 참여 방안: Bhashini의 Daksh 앱을 통한 기여, IndicLLMSuite를 사용한 모델 파인튜닝, AgriGPT와 같은 틈새 앱 개발, Ol Chiki와 같은 스크립트의 ISO 표준화 촉구, AI4Bharat 및 Sarvam AI 팔로우 등이 제안됩니다.

개발 임팩트

이러한 노력은 14억 인도 국민에게 AI 접근성을 확대하고, 지역 경제 발전 및 사회 서비스 개선에 기여할 잠재력을 가지고 있습니다. Sarvam-M, Krutrim-2와 같은 모델은 중요한 이정표이며, 인도어 LLM 생태계는 정부 투자 및 스타트업의 성장을 통해 밝은 미래를 향해 나아가고 있습니다.

커뮤니티 반응

언급된 오픈소스 모델(Sarvam-M, Krutrim-2)과 Hugging Face, GitHub 등 플랫폼을 통한 공유 및 기여가 활발히 이루어지고 있음을 시사합니다.