PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2407.00079v5cs.DC공식 코드 · Papers with Code

Mooncake: LLM 서빙을 위한 KVCache 중심의 분리형 아키텍처

Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

Mooncake은 Moonshot AI가 제공하는 주요 대규모 언어 모델(LLM) 서비스인 Kimi의 서빙 플랫폼입니다. Mooncake은 prefill 클러스터와 디코딩(decoding) 클러스터를 분리하는 KVCache 중심의 분리형(disaggregated) 아키텍처를 특징으로 합니다. 또한 GPU 클러스터에서 충분히 활용되지 않는 CPU, DRAM, SSD 자원을 활용하여 KVCache의 분리형 캐시를 구현합니다. Mooncake의 핵심은 KVCache 중심 스케줄러로, 지연 시간(latency) 관련 서비스 수준 목표(Service Level Objective, SLO)를 충족하면서 전체 유효 처리량(throughput)을 최대화하는 균형을 맞춥니다. 모든 요청이 처리될 것이라고 가정하는 기존 연구들과 달리, Mooncake은 과부하가 매우 심한 상황으로 인한 문제에 직면합니다. 이를 완화하기 위해 우리는 예측 기반 조기 거부(early rejection) 정책을 개발했습니다. 실험 결과 Mooncake은 긴 컨텍스트(long-context) 상황에서 뛰어난 성능을 보입니다. 기준선(baseline) 방법과 비교하여, Mooncake은 특정 시뮬레이션 상황에서 SLO를 준수하면서도 처리량을 최대 525%까지 증가시킬 수 있습니다. 실제 워크로드에서 Mooncake의 혁신적인 아키텍처는 Kimi가 75% 더 많은 요청을 처리할 수 있게 합니다.