LLM 추론 레이턴시 혁신: Mirage Persistent Kernel(MPK)을 통한 단일 메가커널 자동 변환

핵심 기술: Mirage Persistent Kernel(MPK)은 LLM 추론의 계산과 통신을 단일 GPU 커널(메가커널)로 통합하여 극저지연을 달성하는 컴파일러 및 런타임 시스템입니다.

기술적 세부사항:
* 메가커널 방식: LLM 추론의 모든 연산(레이어별 연산, 통신)을 하나의 GPU 커널에서 처리하여 커널 런칭 오버헤드를 제거하고 소프트웨어 파이프라이닝과 연산-통신 겹침을 극대화합니다.
* MPK 컴파일러: 연산 그래프를 실제 데이터 단위에 맞는 fine-grained task graph로 변환하여 파이프라이닝 기회를 확장합니다.
* MPK 런타임: GPU의 SM을 워커와 스케줄러로 분할하고, 분산 스케줄러를 통해 태스크를 효율적으로 관리하며 단일 커널 내에서 실행합니다.
* 최적화: 커널 런칭 오버헤드 제거, 레이어 간 연산/데이터 로딩/통신 겹침 최대화를 통해 토큰 생성 지연 시간을 획기적으로 단축합니다.
* 기존 프레임워크 한계 극복: PyTorch, Triton, TVM 등에서 지원하지 않는 end-to-end 메가커널 자동 생성을 가능하게 합니다.
* 성능: NVIDIA A100 GPU에서 vLLM/SGLang 대비 토큰당 디코딩 지연을 14.5ms에서 12.5ms로 단축하며, GPU 수 증가에 따라 성능 우위가 더욱 두드러집니다.

개발 임팩트:
* LLM 추론 레이턴시를 획기적으로 줄여 실시간 대화형 AI 서비스의 응답성을 향상시킵니다.
* GPU 자원의 활용 효율성을 극대화하여 고성능 컴퓨팅 환경에서 LLM 배포 비용 절감에 기여합니다.
* 개발자가 적은 코드로 고성능 메가커널 생성을 자동화하여 LLM 최적화 개발 생산성을 높입니다.
* 향후 동적 워크로드, 최신 GPU 아키텍처 지원 등으로 발전 가능성이 높습니다.

커뮤니티 반응:
* 사용자들은 MPK의 저지연 성능 개선 효과를 재현하며 매우 긍정적인 반응을 보였습니다. (예: 19.2ms → 7.7ms)
* CUDA의 근본적인 프로그래밍 모델의 한계를 우회하여 하드웨어 활용도를 높이는 접근 방식에 대한 흥미와 가능성을 제기했습니다.
* PyTorch와의 협업 가능성 및 LLM 학습 단계 적용 가능성에 대한 기대감을 표현했습니다.