arXiv:2611.22280v1 cs.DC

XM-Sparse: 스케일업 메모리 풀을 이용한 고처리량 희소 어텐션 LLM 서빙

XM-Sparse: High-Throughput Sparse-Attention LLM Serving over Scale-up Memory Pools

Yijun Sun, Xudong Liao, Zhuobin Huang, Kai Chen, Nikita Lazarev, Zhizhen Zhong

제출 2026-11-18

한국어 초록

운영 환경의 대규모 언어 모델(LLM)은 긴 문맥을 추론할 때 희소 어텐션을 점점 더 많이 사용한다. 그러나 서빙 시스템은 여전히 전체 KV 이력을 보존해야 하므로 GPU의 고대역폭 메모리(HBM) 용량이 동시 처리량을 제한하는 주요 요인이다. 기존 시스템은 KV 캐시를 호스트 메모리로 오프로딩하지만 PCIe 대역폭과 호스트 메모리 용량의 한계를 받는다. X-Mem과 같은 스케일업 메모리 풀은 두 제약을 완화해 희소 어텐션을 오프로딩할 새로운 방법을 가능하게 한다. 분석 결과 스케일업 메모리 풀을 써도 디코딩 처리량은 HBM 용량의 제약을 받았다. 자주 쓰이는 KV 버퍼와 HBM에 상주하는 인덱서 키(K-index) 캐시가 HBM을 많이 차지하기 때문이다. 두 캐시의 접근 패턴도 달랐다. 이를 바탕으로 스케일업 메모리 확장을 사용하는 최초의 희소 어텐션 오프로딩 시스템 XM-Sparse를 제시한다. 두 캐시를 적극적으로 오프로딩하되 각각의 접근 패턴에 맞는 입출력 기제를 적용한다. 동적으로 고른 KV 항목은 TMA 기반 가져오기와 어텐션을 타일 단위 파이프라인으로 결합해 요청 시 가져오기의 지연 시간을 숨긴다. 접근을 예측할 수 있는 K-index의 페이지는 스트리밍 멀티프로세서(SM)를 효율적으로 사용하는 GPU 주도 DMA로 미리 가져온다. 지연 시간에 민감한 연산과 프리페치를 조율해 디코딩에 영향을 주지 않도록 한다. SGLang 위에 구현했으며, 스케일업 메모리 풀을 에뮬레이션한 환경에서 DeepSeek-V3.2와 GLM-5.3으로 실험했다. 1만 6천~100만 토큰 문맥에서 XM-Sparse의 디코딩 처리량은 PCIe 기반 ECHO 대비 최대 4.98$\times$, HiSparse 대비 최대 4.52$\times$였고, 같은 플랫폼에서 단순히 메모리 풀을 연결한 방식 대비 최대 1.34$\times$였다.

원문 초록

Sparse attention has been increasingly adopted by production LLMs for long-context inference, yet serving systems must still retain the full KV history, making GPU HBM capacity a key limit on serving concurrency. Existing systems offload the KV cache to host memory, but suffer from the limited bandwidth of PCIe and the limited capacity of host memory. Emerging scale-up memory pools (e.g., X-Mem) relieve both limits and open new opportunities for sparse-attention offloading. In this paper, we first conduct an in-depth analysis and reveal that, even with scale-up memory pools, decode throughput remains bounded by HBM capacity, as hot KV buffers and the fully resident indexer key (K-index) cache occupy substantial HBM. Moreover, the two caches exhibit distinct access patterns. Based on these insights, we present XM-Sparse, the first sparse-attention offloading system over scale-up memory expansion. The core idea of XM-Sparse is to offload both caches aggressively while matching each with an I/O mechanism tailored to its access pattern. Specifically, for dynamically selected KV entries, XM-Sparse fuses TMA-based retrieval with attention in a tile-level pipeline to hide on-demand retrieval latency. For predictable K-index accesses, it prefetches pages via SM-efficient GPU-initiated DMA and coordinates prefetching with latency-critical operations to avoid interfering with decoding. We have implemented XM-Sparse atop SGLang, and our experiments on DeepSeek-V3.2 and GLM-5.3 with an emulated scale-up memory pool show that XM-Sparse delivers up to 4.98$\times$ and 4.52$\times$ higher decode throughput than PCIe-based ECHO and HiSparse, respectively, and up to 1.34$\times$ over a naive integration on the same platform, across 16K-1M contexts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22280v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.