PyTorchKR Papers

최신 논문

총 25편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21633v3cs.LG

HERALD: High-Throughput Block Diffusion LLM Inference via CPU-GPU Cooperative KV Cache Retrieval

Block diffusion LLMs (block dLLMs) improve decode throughput by generating tokens in parallel, and are emerging as a next-generation alternative to autoregressive LLMs. At long contexts, however, the KV cache remains a major throughput bottleneck in both memory bandwidth and capacity. For autoregressive LLMs, dynamic sparse attention is often combined with KV offloading to alleviate both bottlenecks, keeping the full KV cache in CPU DRAM and fetching only a critical subset to the GPU. However, KV subset selection and retrieval over bandwidth-limited PCIe incur substantial offloading overheads that often stall the GPU. We present HERALD, the first dynamic sparse attention method for block dLLMs that supports KV offloading. HERALD exploits a property of block dLLMs: a critical KV subset selected once per block is reused across all of its denoising steps, so the next block's selection can be hidden behind the current block's denoising. HERALD realizes this with a two-stage selection algorithm co-designed with its execution system. While the GPU denoises the current block, the CPU speculatively searches the full KV cache for the next block with a single query merged from the current block's B queries, cutting the selection compute by Bx; the GPU then refines the candidates into the final top-K subset with the next block's real queries. At K=1024, HERALD achieves near-lossless accuracy relative to Dense on LongBench and reasoning tasks across four block dLLMs, and improves decode throughput by up to 3.70x over Dense GPU-only inference, 2.59x over MAGE, a state-of-the-art block-dLLM sparse attention method, and 8.38x over MAGE-Offload, its direct KV-offloading extension.

arXiv:2606.11806v2cs.CL

프로덕션 LLM 시스템에서의 외부 경험 서빙: 품질-비용 트레이드오프에 대한 배치 지향 연구

External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs

프로덕션 대규모 언어 모델(LLM) 시스템은 재사용 가능한 운영 경험을 축적하지만, 실제 배치 문제는 단순히 그러한 경험이 도움이 되는지 여부가 아닙니다. 문제는 현실적인 제약 조건 하에서 서로 다른 서빙 전략들이 품질과 온라인 비용을 어떻게 상충(trade-off)시키는가입니다. 외부 경험을 주입하면 작업 품질을 향상시킬 수 있지만, 프롬프트 부담, 지연 시간(latency), 및 서빙 압력 또한 증가시킵니다. 우리는 외부 경험 서빙을 배치 지향 품질-비용 트레이드오프 문제로 연구합니다. 우리는 실제 프로덕션 모더레이션(moderation) 설정에서 이 문제를 평가하며, 서로 다른 출력-비용 체제(regimes)를 드러내는 보조 대비 작업으로 툴 사용(tool-use)과 GPQA를 사용합니다. 우리는 경험 없는 베이스라인, 무작위 경험 통제군, 전역 프롬프트 주입, 검색 기반 선택적 주입을 비교하고 작업 품질과 서빙 비용을 모두 분석합니다. 결과에 따르면, 경험이 사례 의존적이게 되면 선택적 검색이 무조건적인 전역 주입보다 더 강력한 운영 지점을 제공합니다. 또한 검색 품질이 단순히 Top-$K$를 늘리는 것보다 더 중요하며, 동일한 서빙 정책이 짧은 출력(short-output) 및 디코딩 집중(decode-heavy) 체제에서 상당히 다른 비용-편익 프로필을 나타낼 수 있음을 보여줍니다. 이러한 발견은 외부 경험을 보편적인 추가 기능이 아닌, 선택적이고 비용 인식적인 서빙 결정으로 취급하는 것이 가장 좋음을 시사합니다. 전반적으로, 여기서 연구된 설정에서 외부 경험은 서빙 인터페이스와 작업별 비용 구조가 품질 향상이 온라인 비용을 감당할 만한 가치가 있게 만들 때만 효과가 있습니다.

arXiv:2602.07878v2cs.CR

지연 시간 서비스 거부 재고: 모델이 아닌 LLM 서빙 프레임워크 공격

Rethinking Latency Denial-of-Service: Attacking the LLM Serving Framework, Not the Model

대규모 언어 모델(LLM) 추론(inference)은 본질적으로 비용이 많이 들기 때문에 약간의 지연만으로도 상당한 운영 비용과 심각한 가용성 위험으로 이어질 수 있습니다. 최근 지연 시간 공격(latency attacks)으로 알려진 연구들이 점차 늘어나며 최악의 출력 길이를 유발하는 입력을 제작하는 데 집중하고 있습니다. 그러나 본 논문에서는 이러한 알고리즘 수준의 지연 시간 공격이 최신 LLM 서빙 시스템에는 대체로 비효율적이라는 상반된 발견을 보고합니다. 연속 배치(continuous batching)와 같은 시스템 수준의 최적화가 논리적 격리를 제공하여 동일 환경에 위치한(co-located) 사용자들에게 전염되는 지연 시간 영향을 완화한다는 점을 밝힙니다. 이에 따라 본 논문에서는 초점을 알고리즘에서 시스템 층(layer)으로 전환하고, 스케줄러의 상태 전이를 겨냥한 새로운 'Fill and Squeeze' 공격 전략을 소개합니다. 'Fill' 단계는 먼저 전역 KV 캐시를 고갈시켜 헤드오브라인 블로킹(Head-of-Line blocking)을 유도하고, 'Squeeze' 단계는 시스템이 반복적인 선점(preemption)을 수행하도록 강제합니다. 서로 다른 공격 프롬프트를 사용해 출력 길이를 조작하고 메모리 상태의 부채널 프로빙을 활용함으로써, 훨씬 적은 비용으로 실질적인 블랙박스 환경에서 공격이 성공할 수 있음을 입증합니다. vLLM에 대한 광범위한 평가 결과, 정상 기준선 대비 TTFT가 최대 $75-742\times$ 저하되고 기존 공격 대비 30-40% 더 낮은 공격 비용으로 출력 토큰당 시간(Time Per Output Token)에서 평균 $1.5-4\times$ 감속이 발생하는 것으로 나타났습니다. 코드: https://github.com/Phil-Fan/FS-attack

arXiv:2407.00079v5cs.DC공식 코드 · Papers with Code

Mooncake: LLM 서빙을 위한 KVCache 중심의 분리형 아키텍처

Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

Mooncake은 Moonshot AI가 제공하는 주요 대규모 언어 모델(LLM) 서비스인 Kimi의 서빙 플랫폼입니다. Mooncake은 prefill 클러스터와 디코딩(decoding) 클러스터를 분리하는 KVCache 중심의 분리형(disaggregated) 아키텍처를 특징으로 합니다. 또한 GPU 클러스터에서 충분히 활용되지 않는 CPU, DRAM, SSD 자원을 활용하여 KVCache의 분리형 캐시를 구현합니다. Mooncake의 핵심은 KVCache 중심 스케줄러로, 지연 시간(latency) 관련 서비스 수준 목표(Service Level Objective, SLO)를 충족하면서 전체 유효 처리량(throughput)을 최대화하는 균형을 맞춥니다. 모든 요청이 처리될 것이라고 가정하는 기존 연구들과 달리, Mooncake은 과부하가 매우 심한 상황으로 인한 문제에 직면합니다. 이를 완화하기 위해 우리는 예측 기반 조기 거부(early rejection) 정책을 개발했습니다. 실험 결과 Mooncake은 긴 컨텍스트(long-context) 상황에서 뛰어난 성능을 보입니다. 기준선(baseline) 방법과 비교하여, Mooncake은 특정 시뮬레이션 상황에서 SLO를 준수하면서도 처리량을 최대 525%까지 증가시킬 수 있습니다. 실제 워크로드에서 Mooncake의 혁신적인 아키텍처는 Kimi가 75% 더 많은 요청을 처리할 수 있게 합니다.

arXiv:2606.22327v3cs.AI

LLM 서빙을 위한 기하학 인지 온라인 스케줄링: 이론적 경계에서 시스템 구현까지

Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice

대화형 대규모 언어 모델(LLM) 서빙이 급격히 증가함에 따라 동적 키-값(KV) 캐시 풋프린트의 효율적인 관리가 추론 성능에 점점 더 중요해지고 있습니다. 최신 추론 시스템은 최단 작업 우선(Shortest Job First)과 같은 시간 중심의 스케줄링 휴리스틱에 압도적으로 의존하고 있습니다. 그러나 이러한 방식의 고전적 보장은 전통적인 스케줄링 모델링에 기반을 두고 있어, LLM 추론 메커니즘 특유의 고도로 동적인 2차원 시공간 기하학적 증가를 포착하지 못합니다. 이를 해결하기 위해 본 논문에서는 최소 볼륨 우선(Smallest Volume First, SVF) 알고리즘과 그 고효율 변형인 1-bit SVF를 도입하여 기하학 인지 온라인 스케줄링을 제안합니다. 새로운 볼륨 인증서(volume-certificate) 증명을 통해, 고동시성 LLM 서빙 환경에서 SVF의 최악 조건 근사비가 \textbf{3}에 근접함을 규명하였으며, 이는 기존 최선의 상수인 48을 대폭 개선한 결과입니다. 이러한 핵심적 돌파구를 바탕으로, 다양한 트래픽 시나리오와 정보 가용성에 걸쳐 알고리즘을 분석하는 포괄적인 이론적 분류 체계를 완성했습니다. 시스템 구현 측면에서는 본 접근법을 vLLM의 플러그 앤 플레이 계층으로 매끄럽게 통합했습니다. Llama-3.1 모델을 대상으로 한 광범위한 평가는 종합적인 성능 향상을 입증합니다. SVF는 평균 지연 시간과 꼬리 지연 시간(tail latency)을 모두 크게 단축하며, 1-bit SVF는 단 1비트의 정보만으로도 경쟁력 있는 처리량과 지연 시간을 달성합니다. 본 연구는 최신 LLM 배포 환경에서 메모리 제약적 스케줄링 문제를 해결하기 위한 이론적으로 건실하고 실증적으로 검증된 접근법을 제시합니다. 향후 연구를 촉진하기 위해 코드는 https://github.com/Li-Beverly-Kong/Geometry-Aware-Online-Scheduling.git 에 공개되어 있습니다.

arXiv:2604.20021v2cs.LG

저비용 LLM 서빙을 위한 연속적 시맨틱 캐싱

Continuous Semantic Caching for Low-Cost LLM Serving

대규모 언어 모델(LLM)의 인기가 높아짐에 따라, 의미적으로 유사한 질의를 가진 사용자가 재사용할 수 있도록 응답을 캐싱하는 것은 추론(inference) 비용과 지연 시간을 줄이기 위한 필수적인 전략이 되었습니다. 기존 캐싱 프레임워크는 유한하고 이미 알려진 이산적 질의 집합을 가정한 뒤 서빙 비용과 질의 도착 확률을 학습하여 어떤 질의 응답을 캐싱할지 결정하는 방식을 제안해 왔습니다. 그러나 LLM 사용자와 질의 풀이 확장됨에 따라 이러한 가정은 점점 더 유지하기 어려워지고 있으며, 실제 LLM 질의는 무한하고 연속적인 임베딩(embedding) 공간에 존재합니다. 본 논문에서는 불확실성 하의 연속 질의 공간에서 시맨틱 LLM 응답 캐싱을 위한 최초의 엄밀한 이론적 프레임워크를 정립합니다. 이산 최적화와 연속 표현 공간 간의 격차를 좁히기 위해, 본 연구는 커널 리지 회귀(Kernel Ridge Regression)와 결합된 동적 $ε$-net 이산화 기법을 도입합니다. 이 설계를 통해 시스템은 추정 불확실성을 정형화하여 정량화하고, 연속적인 시맨틱 질의 이웃 전반에 걸쳐 LLM 질의 비용에 대한 부분적인 피드백을 일반화할 수 있습니다. 또한 캐시된 응답을 변경할 때 발생하는 전환 비용(switching cost)을 줄이도록 최적화된 오프라인 학습 및 온라인 적응형 알고리즘을 개발합니다. 나아가 제안하는 온라인 알고리즘이 최적의 오라클 대비 준선형 후회 경계(sublinear regret bound)를 달성하며, 이는 이산 질의 모델의 기존 경계로 환원됨을 증명합니다. 광범위한 실증적 평가를 통해 본 프레임워크가 연속적인 최적 캐시를 효과적으로 근사하는 동시에 기존 방식에 비해 계산 및 전환 오버헤드를 줄임을 보입니다.

arXiv:2609.34060v2cs.LG

KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정

KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems

프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.

arXiv:2609.34054v2cs.LG

PReCache: 저랭크 사전 계산 및 중립적 재구성을 통한 다중 LoRA 에이전트를 위한 효율적인 KV 캐시 공유

PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction

다중 LoRA(Multi-LoRA) 에이전트 시스템은 공통 백본 모델(backbone model)을 공유함으로써 효율적인 역할 특화(role specialization)를 가능하게 합니다. 그러나 장기 궤적(long-horizon) 태스크에서는 각 에이전트가 증가하는 공유 궤적을 반복적으로 처리하고 자체 KV 캐시를 구축하므로 상당한 메모리 및 연산 중복이 발생합니다. 기존의 KV 캐시 공유 방법들은 이러한 반복적인 프리필(prefill)을 줄이지만, 추가적인 학습(training)이나 아키텍처 제약을 요구하거나 상당한 양의 모델 연산을 그대로 남겨둡니다. 또한 캐시를 직접 재사용하면 현재 에이전트가 이전 에이전트의 어댑터에 의해 생성된 캐시 상태에 의존하게 되어 자체 LoRA에 인코딩된 역할별 고유 동작이 약화됩니다. 본 논문에서는 사전학습된 가중치로 계산된 베이스 캐시를 공유하고 에이전트별 소형 저랭크(LR, low-rank) 캐시를 사전 계산하는 두 가지 설계(PreLRShared 및 ReBaseShared)를 갖춘 학습이 필요 없는(training-free) KV 캐시 공유 프레임워크인 PReCache를 제시합니다. 반복적인 프리필을 제거하기 위해 PreLRShared는 공유 컨텍스트가 처음 처리될 때 각 에이전트의 LR 캐시를 사전 계산하여, 현재 에이전트가 이전 에이전트가 처리한 컨텍스트를 재처리하지 않고도 자체 LR 캐시를 사용할 수 있도록 합니다. 공유 정확도를 향상하기 위해 ReBaseShared는 어댑터가 없는 은닉 상태(hidden states)로부터 공유 베이스 캐시를 재구성하여 이전 에이전트의 어댑터 표현으로 인해 발생하는 잔여 오차를 줄입니다. 재구성 비용을 최소화하기 위해 단일 스트림 추론과 동시 서빙에 맞춘 두 가지 추론(inference) 방식을 제안하며, 이는 각각 각 에이전트의 턴 이후 또는 실행과 병행하여 동일한 재구성을 수행합니다. 다양한 모델과 에이전트 벤치마크에 걸쳐 PreLRShared는 KV 캐시 공유가 없는 추론 대비 최대 3.1배의 TTFT(Time to First Token) 속도 향상과 2.3배의 요청당 처리량 개선을 달성합니다. ReBaseShared는 평가된 캐시 공유 방법 중 전반적으로 정확도를 가장 잘 보존하며, 캐시 공유가 없는 추론 대비 평균 하락폭이 1.1점에 불과합니다.

arXiv:2609.27085v1cs.DC

Crossflow: 에이전트 LLM 서빙을 위한 Prefill-Decode 탄력성

Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving

서빙 용량 수요가 학습을 넘어서면서 서빙 효율이 점점 더 중요해진다. Prefill-decode(P/D) 분리는 두 단계의 특화와 격리를 통해 서빙 효율을 높인다. 이러한 이점은 정적 분할에 기반하지만, 단계별 수요는 정적이지 않다. 대규모 LLM 플릿에서 캐시되지 않은 입력 대 출력 토큰 비율은 분 단위 시간 척도에서 피크 대 평균 비가 최대 4.7배에 이르는 것을 관찰했고, 공개 에이전트 트레이스에서는 시간당 비율이 하루 안에서 중앙값 24.5배 범위에 걸치는 반면, 레플리카 재할당에는 수십 분이 걸린다. 에이전트 트래픽은 이러한 불일치를 더욱 심화시킨다. 각 풀을 95백분위수로 크기를 잡으면 클러스터 용량의 최대 17%가 미사용으로 남고, 그보다 작게 잡으면 동일한 불균형이 대기와 실현되지 못한 처리량으로 전환된다. 노드 역할을 바꾸지 않고 이 경계를 탄력적으로 만드는 Crossflow를 제안한다. 각 디코드 노드는 로컬 prefill 연산, KV 용량, 전송 작업, 예상 출력을 한정하는 단기·철회 가능한 lease를 공개한다. 공개 및 내부 트레이스에서 Crossflow는 정적 P/D 대비 기하평균 토큰 처리량을 16.2–17.4% 향상시키고, 고부하에서는 최대 43.4%까지 개선하며, 평가한 모든 지점에서 평균 TTFT를 줄인다.

arXiv:2604.12171v2cs.DC

PipeLive: 동적 LLM 서빙을 위한 효율적인 라이브 제자리 파이프라인 병렬화 재구성

PipeLive: Efficient Live In-place Pipeline Parallelism Reconfiguration for Dynamic LLM Serving

파이프라인 병렬화(PP)는 대규모 언어 모델(LLM)의 층(layer)을 여러 GPU에 분할하여 대규모 모델의 확장 가능한 추론(inference)을 가능하게 하는 데 널리 사용됩니다. 그러나 기존 시스템은 서버리스 플랫폼 및 이종 GPU 환경과 같은 동적 설정에 적응하지 못하는 정적 PP 구성에 의존합니다. 서비스를 중단하고 재배포하여 PP를 재구성하는 방식은 감당하기 어려운 다운타임을 유발하므로, 재구성은 추론을 중단하지 않고 라이브 상태에서 제자리(in-place) 방식으로 진행되어야 합니다. 하지만 라이브 제자리 PP 재구성은 근본적인 어려움이 따릅니다. GPU는 이미 모델 가중치와 KV 캐시로 포화 상태여서 새로운 층 배치 공간이 거의 없으며, 처리량을 위해 사전 할당을 수행하는 vLLM과 같은 시스템과는 상충되게 KV 캐시 크기 조정(resizing)이 필요합니다. 또한 실행 중에 KV 일관성을 유지하는 것은 까다롭습니다. 스톱 앤 카피(stop-and-copy) 방식은 긴 일시 중지를 초래하며, 백그라운드 동기화는 상태가 변화함에 따라 불일치를 유발할 위험이 있습니다. 본 논문에서는 중단을 최소화하면서 라이브 제자리 PP 재구성을 가능하게 하는 PipeLive를 제안합니다. PipeLive는 재설계된 KV 캐시 레이아웃과 PageAttention에 대한 공동 설계 확장을 도입하여 라이브 KV 크기 조정을 위한 통합 메커니즘을 구성합니다. 나아가 라이브 가상 머신 마이그레이션에서 영감을 얻은 점진적 KV 패칭(patching) 메커니즘을 채택하여 소스 구성과 타깃 구성 간의 KV 상태를 동기화하고 안전한 전환 시점을 식별합니다. PipeLive는 KV 크기 조정을 비활성화한 경우와 비교해 KV 캐시 오버플로 없이 최초 토큰 생성 시간(TTFT)을 2.5배 단축합니다. 또한 KV 패칭이 없는 변형과 비교하여 재구성 오버헤드를 수 초에서 10ms 미만으로 줄이고, TTFT와 출력 토큰당 생성 시간(TPOT)을 각각 최대 54.7% 및 14.7% 향상시킵니다.

arXiv:2606.06256v4cs.AI

RedKnot: 헤드 인식 KV 재사용 및 SegPagedAttention을 활용한 효율적인 롱컨텍스트 LLM 서빙

RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention

대규모 언어 모델(LLM) 서빙의 입력 길이가 계속 증가함에 따라, KV 캐시는 AI 인프라의 주요 병목이 되었다. 이는 GPU 메모리 용량, 서빙 동시성, 캐시 재사용, 분산 확장성을 제한한다. 위치 독립적(position-independent) KV 캐시, 접두 문맥(prefix) KV 캐시 압축, 핫/콜드 KV 캐시 분리, 분산 KV 캐시 관리를 포함한 여러 중요한 문제들은 모두 KV 캐시가 어떻게 표현되고 관리되는지에 달려 있다. 그러나 기존 서빙 시스템은 대체로 단일(monolithic) KV 캐시 추상화에 의존하여, KV 캐시를 동질적인 토큰 수준 메모리 블록 시퀀스로 취급하고 어텐션 헤드와 서빙 시나리오 전반에 걸쳐 유사한 정책으로 관리한다. 우리는 KV 캐시 효용성이 KV 헤드 전반에 걸쳐 고도로 구조화되어 있음을 관찰하였다. 서로 다른 헤드는 상이한 기능적 역할, 어텐션 거리, 런타임 중요도를 나타낸다. 따라서 모든 헤드, 토큰 범위, 또는 서빙 시나리오에 완전한 KV 캐시가 항상 필요한 것은 아니다. 본 논문에서는 LLM 서빙을 위한 헤드 인식(head-aware) KV 캐시 관리 시스템인 RedKnot을 제시한다. RedKnot은 서빙 시나리오에 따라 중요도와 유효 어텐션 범위가 크게 달라지는 KV 헤드를 따라 KV 캐시를 분해함으로써 기존의 단일 KV 캐시 추상화를 탈피한다. 이러한 헤드 수준 분해는 KV 캐시를 단일 텐서 추상화에서 구조화된 메모리 객체로 전환하여, RedKnot이 모델 재학습이나 미세조정(fine-tuning) 없이도 출력 충실도를 보존하고 자원 효율성을 개선하면서 위치 독립적 KV 재사용, 접두 문맥 KV 압축, 핫/콜드 KV 분리, 분산 KV 배치를 일관되게 지원할 수 있도록 한다. RedKnot은 KV 캐시를 단일하고 수동적인 런타임 부산물에서 확장 가능한 LLM 서빙을 위한 동적이며 모델 인식(model-aware) 런타임 기저(substrate)로 변환함으로써 AI 인프라의 새로운 기반을 구축한다.

arXiv:2607.23815v1cs.DB

Kalypso: 관계형 LLM 서빙

Kalypso: Relational LLM Serving

대규모 언어 모델(LLM)은 필터링, 추출, 순위화, 조인, 비정형 데이터 변환을 위한 의미론적 연산자로 점점 더 많이 사용되고 있다. 기존 의미론적 쿼리 처리 시스템은 쿼리 계획을 인식하지 못하는 요청 중심 LLM 서빙 시스템을 호출하여, 상당한 성능 개선 여지를 남겨둔다. 본 논문은 LLM 서빙이 의미론적 쿼리 구조를 인식하도록 하면서 쿼리 의미론과 출력 정확도를 보존하는 추상화인 관계형 LLM 서빙(relational LLM serving)을 제안한다. 핵심 기회는 의미론적 연산자 간 파이프라인 실행에 있다. 중간 튜플이 한 연산자에서 다음 연산자로 직접 흐를 때, KV-cache 상태를 재계산하는 대신 재사용할 수 있다. 우리는 의미론적 쿼리 계획을 위한 API를 제공하고 적응형·메모리 인지 스케줄링 알고리즘으로 이를 실행하는 관계형 LLM 서빙 시스템인 Kalypso를 제시한다. Kalypso는 파이프라인 연산자 실행을 GPU 메모리 압력 관리와 결합하여 서빙 엔진에서 KV-cache 상태가 퇴거되기 전에 재사용하는 새로운 온라인 스케줄링 문제를 다룬다. 스케줄러는 업스트림 병렬성, 다운스트림 진행, GPU 활용률의 균형을 맞추기 위해 메모리 할당을 지속적으로 조정한다. 평가 결과, Kalypso는 요청 중심 LLM 서빙을 사용하는 베이스라인 대비 쿼리 완료 시간을 개선했으며, 다양한 워크로드에서 최대 4.57배의 속도 향상을 보였다. 이는 쿼리 인지 LLM 서빙이 의미론적 쿼리 실행의 효율을 크게 높일 수 있음을 보여준다.

arXiv:2607.19349v1cs.AI

FineServe: 글로벌 LLM 서빙 워크로드의 세밀한 데이터셋 및 특성 분석

FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads

대규모 언어 모델(LLM)은 점점 더 상시 가동(always-on) 온라인 서비스로 배포되고 있어, 효율적인 LLM 서빙은 중요한 시스템 과제가 되었다. 변동성이 큰 수요 하에서 낮은 지연 시간과 높은 처리량을 달성하려면 실제 서빙 워크로드에 대한 깊은 이해가 필요하지만, 기존 연구는 종종 프록시 트레이스(proxy traces)나 거친 수준(coarse-grained)의 특성 분석에 의존하여 현대 다중 모델 LLM 플랫폼의 이질성(heterogeneity)을 포착하지 못한다. 우리는 글로벌 상용 마켓플레이스에서 수집한 실환경(in-the-wild) 다중 모델 LLM 서빙 워크로드 데이터셋인 FineServe를 제안하며, 이를 통해 이질적인 모델과 태스크 전반에 걸친 실제 서빙 역학의 세밀한 특성 분석을 가능하게 한다. FineServe를 활용하여 도착 역학(arrival dynamics)과 토큰 동작을 종합적으로 분석하고, 모델 아키텍처, 규모, 태스크 의도(task intents)에 따라 근본적으로 다른 변동(fluctuation) 체계(regimes)가 존재함을 밝힌다. 이러한 통찰을 바탕으로, 다중 모델 서빙 플랫폼 벤치마킹에 맞춘 구성 가능한 혼합물로 세밀한 모델 인식(model-aware) 워크로드를 구성하는 FineServe 워크로드 생성기를 개발한다. 이러한 세밀한 워크로드 역학을 드러냄으로써 FineServe는 LLM 서빙 시스템에서 라우팅, 스케줄링, 용량 계획(capacity-planning) 전략을 평가하기 위한 현실적인 기반을 제공한다. FineServe는 https://github.com/hihiztc1/FineServe 에서 이용할 수 있다.

arXiv:2607.13095v1cs.AR

MiMo-V2.5 시리즈의 전체 파이프라인 추론 최적화: Hybrid SWA 효율의 극한 추구

Full-Pipeline Inference Optimization for MiMo-V2.5 Series: Pushing Hybrid SWA Efficiency to the Limit

MiMo-V2.5 모델 패밀리를 위한 전체 파이프라인 추론 최적화를 제안한다. 이 모델은 Hybrid Sliding Window Attention(Hybrid SWA), sparse 전문가 혼합(MoE), 멀티모달 인코더를 결합한다. Hybrid SWA는 이상적으로 Full Attention에 비해 어텐션 연산과 KVCache 저장을 모두 크게 줄일 수 있지만, 프로덕션에서 이러한 이득을 실현하려면 상당한 엔지니어링 노력이 필요하다. 우리는 계층별 프리페치, SWA 인식 접두 문맥 캐시 트리, 특화된 배치 전략을 통해 KVCache 시스템을 체계적으로 최적화하여 엄격한 $O(W)$ SWA 저장과 높은 캐시 적중률을 달성한다. 또한 RDMA 최적화 네트워킹을 갖춘 고성능 분산 캐시 인프라 GCache를 구축하고, 로드 밸런싱을 유지하면서 연산을 줄이기 위한 KVCache-affinity 라우터를 개발한다. 멀티모달 입력에 대한 최적화도 수행하며, GPU 이미지 전처리, 병렬 비디오 디코딩, 멀티모달 캐시 공유를 포함한다. 이러한 최적화를 종합하면 Hybrid SWA + MoE + 멀티모달 복합 아키텍처를 효율적으로 다루는 최초의 대규모 언어 모델(LLM) 프로덕션 서빙 시스템을 구성한다.

arXiv:2512.04013v3cs.CL

AugServe: 증강 대규모 언어 모델 추론 서빙을 위한 적응형 요청 스케줄링

AugServe: Adaptive Request Scheduling for Augmented Large Language Model Inference Serving

외부 도구를 활용한 증강 대규모 언어 모델(LLM)이 웹 애플리케이션에서 점점 더 많이 사용됨에 따라, 증강 LLM 추론 서빙의 효율성 향상과 서비스 수준 목표(SLO) 최적화가 사용자 경험 개선에 있어 중요한 과제가 되고 있다. 이를 달성하기 위해 추론 시스템은 지연 시간 제약 내에서 요청 처리량을 극대화해야 하며, 이를 유효 처리량(effective throughput) 향상이라 한다. 그러나 기존 시스템은 두 가지 주요 문제에 직면해 있다: (i) 선입선출(FCFS) 스케줄링에 대한 의존으로 인한 심각한 선두 차단(head-of-line blocking) 현상으로, 다수의 요청에서 SLO를 초과하는 큐잉 지연이 발생하고, (ii) 변동하는 부하 및 하드웨어 조건에 적응하지 못하는 정적 배치 토큰 한도가 문제가 된다. 이 두 요인은 유효 처리량과 서비스 품질을 저하시킨다. 본 논문에서는 증강 LLM 추론 서비스의 큐잉 지연을 줄이고 유효 처리량을 향상시키기 위해 설계된 효율적인 추론 프레임워크인 AugServe를 제안한다. AugServe의 핵심 아이디어는 2단계 적응형 요청 스케줄링 전략이다. 구체적으로, AugServe는 증강 LLM 요청의 추론 특성을 결합하여 스케줄링 결정의 순서를 최적화하고(1단계), 이 결정을 런타임 정보로 지속적으로 개선하여(2단계) 요청 특성과 시스템 성능 모두에 적응한다. 또한 AugServe는 하드웨어 상태와 실시간 부하를 기반으로 토큰 배치 메커니즘을 동적으로 조정하여 처리량 성능을 추가적으로 향상시킨다. 실험 결과, AugServe는 vLLM 및 InferCept 대비 각각 4.7배, 3.3배 높은 유효 처리량을 달성하였으며, 첫 토큰 생성 시간(TTFT)을 각각 최대 96.3%, 95.0% 단축하였다.

arXiv:2607.08057v1cs.LG

효율적인 대규모 언어 모델 서빙을 향하여: 시스템 인식 KV 캐시 최적화 서베이

Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization

LLM 서빙 시스템에서 메모리 병목을 초래하는 KV 캐시를 시스템 동작 관점에서 체계화한 서베이로, 기존 연구를 실행·스케줄링(시간적), 배치·마이그레이션(공간적), 표현·보존(구조적)의 세 차원으로 분류하고 교차 설계 친화성과 향후 과제를 분석한다.

arXiv:2607.08565v1cs.DC

SMetric: 균형 잡힌 세션 중심 스케줄링으로 에이전트 서빙을 위한 LLM 스케줄링 재고

SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling

에이전트가 LLM 요청을 발행하는 에이전틱 서빙 환경에서 기존 스케줄러들이 KV 캐시 재사용을 과도하게 우선시해 일부 인스턴스에 과부하가 걸리고 클러스터 TPS가 제한된다는 문제를 분석하여, 각 세션의 첫 번째 요청은 로드 밸런싱 중심으로, 후속 요청은 캐시 인식 방식으로 라우팅하는 세션 중심 스케줄링 기법 SMetric을 제안한다. SMetric은 기존 최신 스케줄러 대비 프리필-디코드 코로케이션 환경에서 클러스터 TPS를 10-16%, 분리(disaggregation) 환경에서 프리필 TPS를 2-34% 향상시키며 토큰당 지연 시간도 함께 개선한다.

arXiv:2607.05876v1cs.PF

그리드 서치 전에 생각하라: LLM 서빙을 위한 플로어 우선 분류

Think Before You Grid-Search: Floor-First Triage for LLM Serving

LLM 서빙 최적화에서 그리드 서치 대신 분석적 플로어를 먼저 구축하는 잔차 기반 트리아지(triage) 방법론 "Floor First"를 제안하며, 각 디코드 단계를 5차원 자원 벡터로 모델링해 낙관적/비관적 플로어 구간에서 오버랩 품질을 진단하고 프로파일러 투입을 잔차 기준으로 제한한다. 16개 NVIDIA H20 GPU에서 DeepSeek-V3.2 스타일 671B MoE 모델을 사례 연구로, TP16 대비 EP16+DP 어텐션 레이아웃이 단일 스트림 지연 시간에서는 2.4배 불리하지만 KV 용량 한계를 한 자릿수 높인다는 판단이 운영 포인트의 계산 가능한 함수임을 보인다.

arXiv:2607.03948v1cs.AI

LLM 서빙에서의 다목적 라우팅을 위한 온라인 선형 프로그래밍

Online Linear Programming for Multi-Objective Routing in LLM Serving

우리는 대규모 언어 모델(LLM) 서빙에서의 온라인 라우팅 문제를 연구한다. 이 문제에서 요청들은 순차적으로 도착하며, 엄격한 배치 크기 및 KV-캐시 제약 하에 병렬 디코드 워커들에게 배분되어야 한다. 명시적인 서비스 수준 목표(SLO)와 연계되지 않고 지연 시간-처리량 트레이드오프에 대한 제한적인 제어만을 제공하는 기존의 라우팅 휴리스틱과 달리, 우리는 라우팅을 해석 가능한 의사결정 보상을 갖는 온라인 선형 프로그래밍으로 공식화하는 다목적 최적화 프레임워크를 제안한다. 우리는 온라인 선형 프로그래밍에 기반한 효율적인 입찰가 제어(bid-price control) 정책을 적용하여, 요청의 SLO 가중 이익이 쉐도우 가격(shadow price)을 초과할 때 해당 요청을 승인한다. 밀리초 수준의 의사결정 요구사항을 충족하기 위해, 예측 가능한 런타임으로 온라인에서 변화하는 이중 쉐도우 가격을 추적하는 웜스타트 방식의 투영된 1차 업데이트를 개발한다. 우리의 라우터를 Vidur 시뮬레이터에 통합하고, 종단 간 지연 시간, 첫 토큰 생성 시간(time-to-first-token), 처리량, 테일 성능 등 다양한 SLO 체계에서 표준 베이스라인 대비 상당한 성능 향상을 입증한다. 우리 결과의 큰 그림: 과학에 기반한 접근법이 휴리스틱에 기반한 접근법들을 능가한다.

arXiv:2607.02525v1cs.DC

PEEK: 대규모 언어 모델 서빙을 위한 예측적 큐 정보 기반 KV 캐시 관리

PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving

본 논문에서는 온라인(스트리밍) 및 오프라인(배치) 대규모 언어 모델(LLM) 서빙 모두를 위한 경량 스케줄링 및 제거 프레임워크인 PEEK를 소개하며, 이 논문은 온라인 환경에 초점을 맞춘다. PEEK는 대기 큐에 대해 점진적 래딕스 트리를 유지하여 기존 엔진에서는 드러나지 않는 접두 문맥 공유 클러스터를 노출한다. 오버헤드가 낮은 이중 탐색(dual-walk)은 트리를 엔진의 접두 문맥 캐시와 대조하여 대기 중인 모든 요청에 대해 최장 접두 문맥 매칭을 도출하며, PEEK는 클러스터 선두 요청을 먼저 수용하여 이후 요청들이 새로 캐시된 접두 문맥을 상속받도록 하고, 공동 설계된 제거 훅(eviction hook)이 대기 중인 요청의 상위 블록을 보호하며, 다중 레인 스트라이드 스케줄러가 기아 현상을 억제한다. SGLang 및 vLLM에서 최대 4×H100(DP=2, TP=2)을 사용하는 5가지 워크로드에 대해, PEEK는 각 엔진의 가장 강력한 기본 기준선(SGLang/vLLM) 대비 캐시 히트 최대 3.0×/2.6×, TTFT 7.9×/7.1×, E2E 6.7×/5.5×, 처리량 3.6×/4.5× 향상을 달성하며, 활용 가능한 접두 문맥 구조가 없는 워크로드에서는 기준선과 노이즈 범위 내에서 동등한 성능을 보인다. KV 캐시 부하와 추론 병렬성이 확장될수록 성능 향상은 유지된다.