arXiv:2604.20021v2 cs.LG

저비용 LLM 서빙을 위한 연속적 시맨틱 캐싱

Continuous Semantic Caching for Low-Cost LLM Serving

Baran Atalar, Xutong Liu, Jinhang Zuo, Siwei Wang, Wei Chen, Carlee Joe-Wong

제출 2026-04-21

저자 비고

arXiv Comments

Accepted to ACM MobiHoc 2026

한국어 초록

대규모 언어 모델(LLM)의 인기가 높아짐에 따라, 의미적으로 유사한 질의를 가진 사용자가 재사용할 수 있도록 응답을 캐싱하는 것은 추론(inference) 비용과 지연 시간을 줄이기 위한 필수적인 전략이 되었습니다. 기존 캐싱 프레임워크는 유한하고 이미 알려진 이산적 질의 집합을 가정한 뒤 서빙 비용과 질의 도착 확률을 학습하여 어떤 질의 응답을 캐싱할지 결정하는 방식을 제안해 왔습니다. 그러나 LLM 사용자와 질의 풀이 확장됨에 따라 이러한 가정은 점점 더 유지하기 어려워지고 있으며, 실제 LLM 질의는 무한하고 연속적인 임베딩(embedding) 공간에 존재합니다. 본 논문에서는 불확실성 하의 연속 질의 공간에서 시맨틱 LLM 응답 캐싱을 위한 최초의 엄밀한 이론적 프레임워크를 정립합니다. 이산 최적화와 연속 표현 공간 간의 격차를 좁히기 위해, 본 연구는 커널 리지 회귀(Kernel Ridge Regression)와 결합된 동적 $ε$-net 이산화 기법을 도입합니다. 이 설계를 통해 시스템은 추정 불확실성을 정형화하여 정량화하고, 연속적인 시맨틱 질의 이웃 전반에 걸쳐 LLM 질의 비용에 대한 부분적인 피드백을 일반화할 수 있습니다. 또한 캐시된 응답을 변경할 때 발생하는 전환 비용(switching cost)을 줄이도록 최적화된 오프라인 학습 및 온라인 적응형 알고리즘을 개발합니다. 나아가 제안하는 온라인 알고리즘이 최적의 오라클 대비 준선형 후회 경계(sublinear regret bound)를 달성하며, 이는 이산 질의 모델의 기존 경계로 환원됨을 증명합니다. 광범위한 실증적 평가를 통해 본 프레임워크가 연속적인 최적 캐시를 효과적으로 근사하는 동시에 기존 방식에 비해 계산 및 전환 오버헤드를 줄임을 보입니다.

원문 초록

As Large Language Models (LLMs) become increasingly popular, caching responses so that they can be reused by users with semantically similar queries has become a vital strategy for reducing inference costs and latency. Existing caching frameworks have proposed to decide which query responses to cache by assuming a finite, known universe of discrete queries and learning their serving costs and arrival probabilities. As LLMs' pool of users and queries expands, however, such an assumption becomes increasingly untenable: real-world LLM queries reside in an infinite, continuous embedding space. In this paper, we establish the first rigorous theoretical framework for semantic LLM response caching in continuous query space under uncertainty. To bridge the gap between discrete optimization and continuous representation spaces, we introduce dynamic $ε$-net discretization coupled with Kernel Ridge Regression. This design enables the system to formally quantify estimation uncertainty and generalize partial feedback on LLM query costs across continuous semantic query neighborhoods. We develop both offline learning and online adaptive algorithms optimized to reduce switching costs incurred by changing the cached responses. We prove that our online algorithm achieves a sublinear regret bound against an optimal oracle, which reduces to existing bounds for discrete query models. Extensive empirical evaluations demonstrate that our framework approximates the continuous optimal cache well while also reducing computational and switching overhead compared to existing methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.20021v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13382v1cs.LG공통 태그 Computational Efficiency, Gaussian Processes, kernel ridge regression

BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링

BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning

커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.

arXiv:2610.15862v1cs.LG공통 태그 Uncertainty Quantification, Gaussian Processes

박판 구형 셸 캡의 강건한 노크다운 팩터 예측 및 신뢰도 기반 설계를 위한 하이브리드 가우스 과정-Extreme Gradient Boosting 머신러닝 프레임워크

A Hybrid Gaussian Process-Extreme Gradient Boosting Machine Learning Framework for Robust Knockdown Factor Prediction and Reliability-Based Design of Thin Spherical Shell Caps

실험을 통해 선형화된 고유좌굴(eigen-buckling) 해석으로 예측된 임계 하중보다 실제 임계 하중이 크게 감소하는 것으로 나타남에 따라, 탄성 좌굴은 깊은 구형 셸 캡(spherical shell cap) 설계에서 여전히 중요한 과제로 남아 있습니다. 이러한 불일치는 초기 기하학적 결함 때문인 것으로 여겨지며, 종종 무차원 매개변수(parameter)인 노크다운 팩터(knockdown factor, KDF)를 통해 보정됩니다. 그러나 기존의 KDF(NASA SP-8007, Eurocode 3)는 방대한 실험 데이터의 하한값을 나타내므로 지나치게 보수적입니다. 본 연구는 구형 셸 좌굴에 대한 실험 데이터로 학습된 머신러닝(ML) 회귀 모델(model)을 통해 구형 셸 캡에 대한 KDF의 보수성을 줄이는 것을 목표로 합니다. 본 논문에서는 가우스 과정 회귀(Gaussian Process Regression, GPR)와 Extreme Gradient Boosting(XGBoost)을 결합한 하이브리드 모델을 제안하며, 인공신경망(Artificial Neural Network, ANN), 서포트 벡터 회귀기(Support Vector Regressor, SVR), 랜덤 포레스트 회귀기(Random Forest Regressor, RFR), 히스토그램 기반 그래디언트(gradient) 부스팅(Histogram-based Gradient Boosting, HGBoost) 등 기존 ML 알고리즘 대비 향상된 성능을 입증합니다. 이러한 각 모델은 6개의 입력 특징(feature)과 단일 출력인 KDF를 사용합니다. 감도 분석을 통해 KDF에 영향을 미치는 가장 핵심적인 특징을 규명합니다. 마지막으로, 본 연구는 안전성을 일관되게 유지하면서도 덜 보수적인 KDF를 도출하기 위해 예측 ML 모델에 의존하는 신뢰도 기반 설계 프레임워크를 제시하며 마무리됩니다.

arXiv:2609.34054v2cs.LG공통 태그 Computational Efficiency, llm serving

PReCache: 저랭크 사전 계산 및 중립적 재구성을 통한 다중 LoRA 에이전트를 위한 효율적인 KV 캐시 공유

PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction

다중 LoRA(Multi-LoRA) 에이전트 시스템은 공통 백본 모델(backbone model)을 공유함으로써 효율적인 역할 특화(role specialization)를 가능하게 합니다. 그러나 장기 궤적(long-horizon) 태스크에서는 각 에이전트가 증가하는 공유 궤적을 반복적으로 처리하고 자체 KV 캐시를 구축하므로 상당한 메모리 및 연산 중복이 발생합니다. 기존의 KV 캐시 공유 방법들은 이러한 반복적인 프리필(prefill)을 줄이지만, 추가적인 학습(training)이나 아키텍처 제약을 요구하거나 상당한 양의 모델 연산을 그대로 남겨둡니다. 또한 캐시를 직접 재사용하면 현재 에이전트가 이전 에이전트의 어댑터에 의해 생성된 캐시 상태에 의존하게 되어 자체 LoRA에 인코딩된 역할별 고유 동작이 약화됩니다. 본 논문에서는 사전학습된 가중치로 계산된 베이스 캐시를 공유하고 에이전트별 소형 저랭크(LR, low-rank) 캐시를 사전 계산하는 두 가지 설계(PreLRShared 및 ReBaseShared)를 갖춘 학습이 필요 없는(training-free) KV 캐시 공유 프레임워크인 PReCache를 제시합니다. 반복적인 프리필을 제거하기 위해 PreLRShared는 공유 컨텍스트가 처음 처리될 때 각 에이전트의 LR 캐시를 사전 계산하여, 현재 에이전트가 이전 에이전트가 처리한 컨텍스트를 재처리하지 않고도 자체 LR 캐시를 사용할 수 있도록 합니다. 공유 정확도를 향상하기 위해 ReBaseShared는 어댑터가 없는 은닉 상태(hidden states)로부터 공유 베이스 캐시를 재구성하여 이전 에이전트의 어댑터 표현으로 인해 발생하는 잔여 오차를 줄입니다. 재구성 비용을 최소화하기 위해 단일 스트림 추론과 동시 서빙에 맞춘 두 가지 추론(inference) 방식을 제안하며, 이는 각각 각 에이전트의 턴 이후 또는 실행과 병행하여 동일한 재구성을 수행합니다. 다양한 모델과 에이전트 벤치마크에 걸쳐 PreLRShared는 KV 캐시 공유가 없는 추론 대비 최대 3.1배의 TTFT(Time to First Token) 속도 향상과 2.3배의 요청당 처리량 개선을 달성합니다. ReBaseShared는 평가된 캐시 공유 방법 중 전반적으로 정확도를 가장 잘 보존하며, 캐시 공유가 없는 추론 대비 평균 하락폭이 1.1점에 불과합니다.

arXiv:2609.34060v2cs.LG공통 태그 Computational Efficiency, llm serving

KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정

KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems

프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.

arXiv:2609.34577v2cs.AI공통 태그 Uncertainty Quantification, Gaussian Processes

수중 환경 모니터링에서의 정보 경로 계획을 위한 보정된 불확실성

Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring

스칼라장(scalar field) 재구성을 위한 정보 경로 계획(Informative Path Planning)은 예측 불확실성을 활용해 센싱 비히클을 정보량이 최대인 위치로 안내합니다. 가우시안 프로세스(Gaussian Process)가 이러한 신호를 제공하지만, 정상 등방성 커널(stationary isotropic kernel)은 기름 유출과 같은 비균질 현상에 대해 잘못 지정되어 불확실성 추정의 보정 실패(miscalibration)를 야기하고 경로 계획 성능을 저하시킵니다. 본 연구에서는 가우시안 프로세스를 잘 보정된 딥 앙상블(Deep Ensemble)로 대체할 때 경로 계획 결과가 향상되는지, 그리고 불확실성의 품질이 계획 알고리즘 선택과 어떻게 상호작용하는지 조사합니다. 5가지 전략(ε-Greedy, Value Greedy, Uncertainty Greedy, 몬테카를로 트리 탐색(MCTS), Receding Horizon Orienteering)은 물리 기반 기름 유출 시뮬레이션으로 학습된 공통 딥 앙상블 백본을 공유합니다. 미공개 확률적 유출 시나리오에서 딥 앙상블은 가우시안 프로세스 기준선(baseline) 대비 정규화된 재구성 오차를 83% 줄였습니다. 결정적으로, 잘 보정된 불확실성은 계획 전략의 중요성을 증폭시킵니다. 잘못 보정된 모델에서는 알고리즘 간의 성능 차이가 미미하지만, 앙상블 환경에서는 다단계 사전 예측(multi-step lookahead) 계획기가 탐욕적(greedy) 선택보다 재구성 오차를 최대 32% 개선하고 0.85 이상의 IoU를 달성하는 등 그 차이가 현저해집니다. 몬테카를로 트리 탐색은 한 자릿수 이상 낮은 연산 비용으로 Orienteering과 대등한 재구성 품질을 보여 권장되는 계획기로 제시됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.