PipeLive: 동적 LLM 서빙을 위한 효율적인 라이브 제자리 파이프라인 병렬화 재구성
PipeLive: Efficient Live In-place Pipeline Parallelism Reconfiguration for Dynamic LLM Serving
한국어 초록
파이프라인 병렬화(PP)는 대규모 언어 모델(LLM)의 층(layer)을 여러 GPU에 분할하여 대규모 모델의 확장 가능한 추론(inference)을 가능하게 하는 데 널리 사용됩니다. 그러나 기존 시스템은 서버리스 플랫폼 및 이종 GPU 환경과 같은 동적 설정에 적응하지 못하는 정적 PP 구성에 의존합니다. 서비스를 중단하고 재배포하여 PP를 재구성하는 방식은 감당하기 어려운 다운타임을 유발하므로, 재구성은 추론을 중단하지 않고 라이브 상태에서 제자리(in-place) 방식으로 진행되어야 합니다. 하지만 라이브 제자리 PP 재구성은 근본적인 어려움이 따릅니다. GPU는 이미 모델 가중치와 KV 캐시로 포화 상태여서 새로운 층 배치 공간이 거의 없으며, 처리량을 위해 사전 할당을 수행하는 vLLM과 같은 시스템과는 상충되게 KV 캐시 크기 조정(resizing)이 필요합니다. 또한 실행 중에 KV 일관성을 유지하는 것은 까다롭습니다. 스톱 앤 카피(stop-and-copy) 방식은 긴 일시 중지를 초래하며, 백그라운드 동기화는 상태가 변화함에 따라 불일치를 유발할 위험이 있습니다. 본 논문에서는 중단을 최소화하면서 라이브 제자리 PP 재구성을 가능하게 하는 PipeLive를 제안합니다. PipeLive는 재설계된 KV 캐시 레이아웃과 PageAttention에 대한 공동 설계 확장을 도입하여 라이브 KV 크기 조정을 위한 통합 메커니즘을 구성합니다. 나아가 라이브 가상 머신 마이그레이션에서 영감을 얻은 점진적 KV 패칭(patching) 메커니즘을 채택하여 소스 구성과 타깃 구성 간의 KV 상태를 동기화하고 안전한 전환 시점을 식별합니다. PipeLive는 KV 크기 조정을 비활성화한 경우와 비교해 KV 캐시 오버플로 없이 최초 토큰 생성 시간(TTFT)을 2.5배 단축합니다. 또한 KV 패칭이 없는 변형과 비교하여 재구성 오버헤드를 수 초에서 10ms 미만으로 줄이고, TTFT와 출력 토큰당 생성 시간(TPOT)을 각각 최대 54.7% 및 14.7% 향상시킵니다.
원문 초록
Pipeline parallelism (PP) is widely used to partition layers of large language models (LLMs) across GPUs, enabling scalable inference for large models. However, existing systems rely on static PP configurations that fail to adapt to dynamic settings, such as serverless platforms and heterogeneous GPU environments. Reconfiguring PP by stopping and redeploying service incurs prohibitive downtime, so reconfiguration must instead proceed live and in place, without interrupting inference. However, live in-place PP reconfiguration is fundamentally challenging. GPUs are already saturated with model weights and KV cache, leaving little room for new layer placements and necessitating KV cache resizing, at odds with systems like vLLM that preallocate for throughput. Moreover, maintaining KV consistency during execution is difficult: stop-and-copy introduces large pauses, while background synchronization risks inconsistency as states evolve. We present PipeLive, which enables live in-place PP reconfiguration with minimal disruption. PipeLive introduces a redesigned KV cache layout together with a co-designed extension to PageAttention, forming a unified mechanism for live KV resizing. It further adopts an incremental KV patching mechanism, inspired by live virtual machine migration, to synchronize KV states between source and target configurations and identify a safe switch point. PipeLive achieves a 2.5X reduction in time-to-first-token (TTFT) without KV cache overflow compared to disabling KV resizing. Furthermore, compared to a variant without KV patching, it reduces reconfiguration overhead from seconds to under 10ms, and improves TTFT and time-per-output-token (TPOT) by up to 54.7% and 14.7%, respectively.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.12171v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Crossflow: 에이전트 LLM 서빙을 위한 Prefill-Decode 탄력성
Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving
서빙 용량 수요가 학습을 넘어서면서 서빙 효율이 점점 더 중요해진다. Prefill-decode(P/D) 분리는 두 단계의 특화와 격리를 통해 서빙 효율을 높인다. 이러한 이점은 정적 분할에 기반하지만, 단계별 수요는 정적이지 않다. 대규모 LLM 플릿에서 캐시되지 않은 입력 대 출력 토큰 비율은 분 단위 시간 척도에서 피크 대 평균 비가 최대 4.7배에 이르는 것을 관찰했고, 공개 에이전트 트레이스에서는 시간당 비율이 하루 안에서 중앙값 24.5배 범위에 걸치는 반면, 레플리카 재할당에는 수십 분이 걸린다. 에이전트 트래픽은 이러한 불일치를 더욱 심화시킨다. 각 풀을 95백분위수로 크기를 잡으면 클러스터 용량의 최대 17%가 미사용으로 남고, 그보다 작게 잡으면 동일한 불균형이 대기와 실현되지 못한 처리량으로 전환된다. 노드 역할을 바꾸지 않고 이 경계를 탄력적으로 만드는 Crossflow를 제안한다. 각 디코드 노드는 로컬 prefill 연산, KV 용량, 전송 작업, 예상 출력을 한정하는 단기·철회 가능한 lease를 공개한다. 공개 및 내부 트레이스에서 Crossflow는 정적 P/D 대비 기하평균 토큰 처리량을 16.2–17.4% 향상시키고, 고부하에서는 최대 43.4%까지 개선하며, 평가한 모든 지점에서 평균 TTFT를 줄인다.
SMetric: 균형 잡힌 세션 중심 스케줄링으로 에이전트 서빙을 위한 LLM 스케줄링 재고
SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
LLM 스케줄링은 서빙에 있어 매우 중요하지만, 기존 설계가 에이전틱 서빙--인간 대신 에이전트가 LLM 요청을 발행하는 환경--에 얼마나 잘 부합하는지는 여전히 불분명하다. 이로 인해 워크로드는 두 가지 방식으로 변화한다: (1) 에이전트는 완전한 응답에 대해서만 행동하므로 클러스터의 초당 토큰 수(TPS)가 주요 목표가 되고 토큰당 지연 시간 요건은 완화되지만 제거되지는 않는다; (2) 요청들 간에 KV$ 재사용이 상당 부분 공유되는데, BAILIAN의 프로덕션 트레이스에서는 요청 토큰의 80% 이상이 재사용되는 반면 채팅에서는 54-62%에 그친다. 본 논문은 먼저 두 가지 실제 트레이스를 대상으로 에이전트를 위한 요청 스케줄링에 대한 체계적인 연구를 기여한다. 우리는 KV$ 재사용을 높이기 위해 기존 스케줄러들이 KV$를 캐시한 인스턴스로 요청을 과도하게 라우팅하여, 일부 인스턴스에 과부하가 걸리고 나머지는 유휴 상태로 남아 TPS가 제한된다는 것을 발견한다. 이에 우리는 두 가지 핵심 통찰을 제시한다: (1) 글로벌 계층 KV$ 저장소 덕분에 로드 밸런싱이 KV$ 재사용을 전부 희생할 필요가 없으며, (2) 워크로드의 세션 내 지역성을 활용하면 소수의 요청--각 에이전트 세션의 첫 번째 요청--만 균형을 맞추는 것으로도 로컬 인스턴스의 대부분의 KV$ 재사용을 희생하지 않고 클러스터 전체의 균형을 유지할 수 있다. SMETRIC은 이러한 통찰을 균형 잡힌 세션 중심 스케줄링으로 실현한다: 각 세션의 첫 번째 요청은 순전히 로드 밸런싱을 위해 라우팅하고 후속 요청은 캐시 인식 방식으로 처리함으로써, 글로벌 계층에 대한 수요를 낮게 유지하면서 로드 밸런싱과 로컬 재사용을 모두 보존한다. 스케줄링 메트릭으로 세션 턴 정보를 사용하는 것은 의도적이다: 이는 사용자 입력만으로 효율적이고 정확하게 도출되므로 스케줄러는 간결하고 상태 비저장(stateless) 방식을 유지한다. SMETRIC은 글로벌 저장소를 갖춘 프리필-디코드 코로케이션 환경에서 최신 스케줄러 대비 클러스터 TPS를 10-16% 향상시키고, 분리(disaggregation) 환경에서 프리필 TPS를 2-34% 향상시키며, 토큰당 지연 시간도 함께 개선한다.
KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정
KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems
프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.
Kalypso: 관계형 LLM 서빙
Kalypso: Relational LLM Serving
대규모 언어 모델(LLM)은 필터링, 추출, 순위화, 조인, 비정형 데이터 변환을 위한 의미론적 연산자로 점점 더 많이 사용되고 있다. 기존 의미론적 쿼리 처리 시스템은 쿼리 계획을 인식하지 못하는 요청 중심 LLM 서빙 시스템을 호출하여, 상당한 성능 개선 여지를 남겨둔다. 본 논문은 LLM 서빙이 의미론적 쿼리 구조를 인식하도록 하면서 쿼리 의미론과 출력 정확도를 보존하는 추상화인 관계형 LLM 서빙(relational LLM serving)을 제안한다. 핵심 기회는 의미론적 연산자 간 파이프라인 실행에 있다. 중간 튜플이 한 연산자에서 다음 연산자로 직접 흐를 때, KV-cache 상태를 재계산하는 대신 재사용할 수 있다. 우리는 의미론적 쿼리 계획을 위한 API를 제공하고 적응형·메모리 인지 스케줄링 알고리즘으로 이를 실행하는 관계형 LLM 서빙 시스템인 Kalypso를 제시한다. Kalypso는 파이프라인 연산자 실행을 GPU 메모리 압력 관리와 결합하여 서빙 엔진에서 KV-cache 상태가 퇴거되기 전에 재사용하는 새로운 온라인 스케줄링 문제를 다룬다. 스케줄러는 업스트림 병렬성, 다운스트림 진행, GPU 활용률의 균형을 맞추기 위해 메모리 할당을 지속적으로 조정한다. 평가 결과, Kalypso는 요청 중심 LLM 서빙을 사용하는 베이스라인 대비 쿼리 완료 시간을 개선했으며, 다양한 워크로드에서 최대 4.57배의 속도 향상을 보였다. 이는 쿼리 인지 LLM 서빙이 의미론적 쿼리 실행의 효율을 크게 높일 수 있음을 보여준다.
FastTPS: AI 가속기를 위한 LLM 토큰 단계 최적화 방법
FastTPS: An Optimized Method for LLM Token Phase for AI accelerators
대규모 언어 모델(LLM)의 인기가 높아지면서 효율적인 추론에 대한 지속적인 수요가 증가하고 있다. 그러나 디코더 전용 LLM 추론의 토큰 단계에서 토큰이 순차적으로 처리되기 때문에, 내재적인 낮은 병렬성으로 인해 처리량이 감소하고 인공지능(AI) 가속기의 연산 유닛 활용도가 저하된다. 특히 상당한 메모리 오버헤드를 수반하는 긴 시퀀스 입력을 처리할 때 이러한 문제가 두드러진다. 최근 다수의 방법이 잠재적 해결책으로 제안되었으나, 수치적 편차가 발생한다는 문제가 있다. 본 논문은 일반 AI 가속기에서 LLM 추론의 토큰 단계를 가속화하기 위한 고성능이면서 정밀도 손실이 적은 방법인 FastTPS를 제안한다. FastTPS는 세 가지 핵심 구성 요소를 포함한다: (1) 메모리 접근 오버헤드를 줄이고 어텐션의 완전 융합을 가능하게 하는 AI 가속기 기반 리로딩 없는 KV Cache 연결, (2) 타일링 최적화된 FLAT 기반의 고효율·고정밀도 'RoPE' 어텐션, (3) 세밀한 파이프라인 스케줄링을 적용한 고도 융합 MLP. 실험 결과, FastTPS는 토큰 단계의 메모리 병목 현상을 크게 완화하며, AMD Ryzen AI 300 시리즈 NPU에서 BF16 정밀도로 Phi3-mini-4k-instruct 추론 시 미융합 대비 6배의 속도 향상을 달성하면서 피크 메모리 대역폭 활용률 93%를 유지함을 확인하였다.
효율적인 대규모 언어 모델 서빙을 향하여: 시스템 인식 KV 캐시 최적화 서베이
Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization
대규모 언어 모델(LLM)의 빠른 발전에도 불구하고, LLM 모델 서빙 시스템은 여전히 메모리 집약적이고 비용이 많이 든다. 자기회귀 디코딩(autoregressive decoding) 과정에서 KV 텐서를 저장하는 키-값(KV) 캐시는 저지연, 고처리량 LLM 추론 서빙을 가능하게 하는 핵심 요소이다. 본 서베이에서는 LLM 서빙을 위한 시스템 인식 KV 인프라(sKis)에 초점을 맞춘다. 시스템 동작 관점에서 최근 연구를 재검토하며, 기존 연구를 세 가지 차원으로 정리한다: 실행 및 스케줄링(시간적), 배치 및 마이그레이션(공간적), 표현 및 보존(구조적). 나아가, 교차 동작 공동 설계 친화성과 동작-목표 연관성을 분석하여 향후 연구 기회를 조명한다. 본 연구는 빠르게 발전하는 분야를 체계화함으로써 현대 LLM 모델 서빙 인프라에서 KV 캐시 설계를 이해하고 혁신하기 위한 토대를 마련한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.