arXiv:2509.06261v3 cs.DC

JigSLO: 효율적인 다중 LLM 서빙을 위한 자원 퍼즐 해결

JigSLO: Solving the Resource Puzzle for Efficient Multi-LLM Serving

Kyungmin Bin, Seungbeom Choi, Jimyoung Son, Jieun Choi, Daseul Bae, Daehyeon Baek, Kihyo Moon, Minsung Jang, Hyojung Lee

제출 2026-11-18

한국어 초록

GPU 공간 공유는 연산 집약적인 프리필과 메모리 집약적인 디코드처럼 상호보완적인 요구를 갖는 인스턴스를 같은 GPU에 배치하여 비용 효율적인 다중 LLM 서빙을 가능하게 할 것으로 기대된다. 기존 시스템은 연산 자원을 분할하고 공유 메모리 용량을 조율하지만, 이질적인 LLM의 동시 배치된 인스턴스 간 대역폭 경합은 모델링하지 않는다. 이러한 경합 때문에 각 인스턴스의 자체 자원 할당이 변하지 않더라도 그 지연 시간은 함께 실행되는 인스턴스의 메모리 접근 패턴에 좌우된다. 광범위한 측정을 바탕으로, 대역폭 경합이 지연 시간에 미치는 영향은 경합 구간과 비경합 구간을 갖는 시분할 메모리 접근 모델로 포착할 수 있으며, 따라서 전체 지연 시간은 각 구간의 지연 시간 추정치의 시간 가중 평균으로 해석적으로 추정할 수 있음을 확인하였다. 본 논문은 메모리 자원을 관리하고 각 모델의 프리필 및 디코드 단계를 별도 인스턴스로 스케줄링하며 이들의 동시 배치를 배치 결정으로 다루는 경합 인지 다중 LLM 서빙 시스템 JigSLO를 제안한다. 경합 인지 예측기는 단독 프로파일만으로 임의의 동시 배치에서의 인스턴스별 지연 시간을 추정한다. 이러한 예측에 기반하여 배치 알고리즘은 각 인스턴스의 텐서 병렬화, 연산 비율, 배치 구성을 함께 선택하고, 상호보완적인 메모리 접근 패턴을 짝지어 각 모델의 지연 시간 목표 내에서 처리량을 최대화한다. JigSLO의 공유 자원 관리자는 가중치 공유, KV 캐시 풀링, 프리필 인스턴스와 디코드 인스턴스 간 KV 캐시 전송을 통해 용량 측면에서 이를 보완한다. 채팅, 코드 생성, 장문맥 요약을 아우르는 세 데이터셋에서 JigSLO는 최신 기준 시스템보다 SLO 달성률에서 평균 $2.3\times$, 처리량에서 평균 $1.2\times$ 우수하며, 장문맥 워크로드에서는 절반의 GPU로 이들의 최고 달성률에 필적한다.

원문 초록

GPU spatial sharing co-locates instances with complementary demands, such as compute-bound prefill and memory-bound decode, promising cost-efficient multi-LLM serving. Prior systems partition compute and coordinate shared memory capacity, but do not model bandwidth contention among co-located instances of heterogeneous LLMs. This contention makes each instance's latency depend on the memory-access patterns of its co-runners, even when its own resource allocation remains unchanged. Drawing on extensive measurements, we find that the latency impact of bandwidth contention can be captured by a time-shared memory-access model with contended and uncontended periods, so the overall latency can be analytically estimated as a time-weighted average of the latency estimates for these periods. We propose JigSLO, a contention-aware multi-LLM serving system that manages memory resources and schedules each model's prefill and decode phases as separate instances, treating their co-location as a placement decision. Its contention-aware predictor estimates per-instance latency under any co-location from standalone profiles alone. Guided by these predictions, its placement algorithm jointly selects each instance's tensor parallelism, compute share, and batch configuration, pairing complementary memory-access patterns to maximize throughput within each model's latency targets. JigSLO's shared resource manager complements this on the capacity side, sharing weights, pooling KV cache, and transferring it between prefill and decode instances. Across three datasets covering chat, code generation, and long-context summarization, JigSLO outperforms state-of-the-art baselines by $2.3\times$ in SLO attainment and $1.2\times$ in throughput on average, matching their best attainment with half the GPUs on long-context workloads.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2509.06261v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.