PReCache: 저랭크 사전 계산 및 중립적 재구성을 통한 다중 LoRA 에이전트를 위한 효율적인 KV 캐시 공유
PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction
한국어 초록
다중 LoRA(Multi-LoRA) 에이전트 시스템은 공통 백본 모델(backbone model)을 공유함으로써 효율적인 역할 특화(role specialization)를 가능하게 합니다. 그러나 장기 궤적(long-horizon) 태스크에서는 각 에이전트가 증가하는 공유 궤적을 반복적으로 처리하고 자체 KV 캐시를 구축하므로 상당한 메모리 및 연산 중복이 발생합니다. 기존의 KV 캐시 공유 방법들은 이러한 반복적인 프리필(prefill)을 줄이지만, 추가적인 학습(training)이나 아키텍처 제약을 요구하거나 상당한 양의 모델 연산을 그대로 남겨둡니다. 또한 캐시를 직접 재사용하면 현재 에이전트가 이전 에이전트의 어댑터에 의해 생성된 캐시 상태에 의존하게 되어 자체 LoRA에 인코딩된 역할별 고유 동작이 약화됩니다. 본 논문에서는 사전학습된 가중치로 계산된 베이스 캐시를 공유하고 에이전트별 소형 저랭크(LR, low-rank) 캐시를 사전 계산하는 두 가지 설계(PreLRShared 및 ReBaseShared)를 갖춘 학습이 필요 없는(training-free) KV 캐시 공유 프레임워크인 PReCache를 제시합니다. 반복적인 프리필을 제거하기 위해 PreLRShared는 공유 컨텍스트가 처음 처리될 때 각 에이전트의 LR 캐시를 사전 계산하여, 현재 에이전트가 이전 에이전트가 처리한 컨텍스트를 재처리하지 않고도 자체 LR 캐시를 사용할 수 있도록 합니다. 공유 정확도를 향상하기 위해 ReBaseShared는 어댑터가 없는 은닉 상태(hidden states)로부터 공유 베이스 캐시를 재구성하여 이전 에이전트의 어댑터 표현으로 인해 발생하는 잔여 오차를 줄입니다. 재구성 비용을 최소화하기 위해 단일 스트림 추론과 동시 서빙에 맞춘 두 가지 추론(inference) 방식을 제안하며, 이는 각각 각 에이전트의 턴 이후 또는 실행과 병행하여 동일한 재구성을 수행합니다. 다양한 모델과 에이전트 벤치마크에 걸쳐 PreLRShared는 KV 캐시 공유가 없는 추론 대비 최대 3.1배의 TTFT(Time to First Token) 속도 향상과 2.3배의 요청당 처리량 개선을 달성합니다. ReBaseShared는 평가된 캐시 공유 방법 중 전반적으로 정확도를 가장 잘 보존하며, 캐시 공유가 없는 추론 대비 평균 하락폭이 1.1점에 불과합니다.
원문 초록
Multi-LoRA agent systems enable efficient role specialization by sharing a common backbone model. However, each agent repeatedly processes the growing shared trajectory and constructs its own KV cache, introducing substantial memory and computation redundancy in long-horizon tasks. Existing KV cache sharing methods reduce this repeated prefill, but they either require additional training or architectural constraints or retain substantial model computation. Moreover, direct cache reuse causes the current agent to rely on cache states generated by the previous agent's adapter, weakening the role-specific behavior encoded by its own LoRA. We present PReCache, a training-free KV cache sharing framework with two designs, namely PreLRShared and ReBaseShared, that share the base cache computed using the pretrained weights and precompute a compact agent-specific low-rank (LR) cache. To remove repeated prefill, PreLRShared precomputes each agent's LR cache when the shared context is first processed, allowing the current agent to use its own LR cache without reprocessing context processed by previous agents. To improve sharing accuracy, ReBaseShared reconstructs the shared base cache from adapter-free hidden states, reducing the remaining error caused by the previous agent's adapted representation. To minimize its reconstruction cost, we propose two inference schemes tailored to single-stream inference and concurrent serving, performing the same reconstruction after each agent's turn or alongside its execution, respectively. Across multiple models and agent benchmarks, PreLRShared achieves up to a 3.1x TTFT speedup and a 2.3x improvement in per-request throughput over inference without KV cache sharing. ReBaseShared best preserves accuracy overall among the evaluated cache-sharing methods, with an average drop of only 1.1 points relative to inference without cache sharing.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정
KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems
프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.
Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)
Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.
AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.
루프형 트랜스포머(Looped Transformer)에서 공유 메모리의 놀라운 효과
The Surprising Effectiveness of Shared Memory in Looped Transformers
루프형 트랜스포머(Looped Transformer)는 토큰당 동일한 레이어를 여러 번 적용하여, 파라미터 수를 늘리지 않고도 연산량을 추가해 품질을 향상시킨다. 그러나 각 재귀(recursion)는 자체적인 키-값 캐시(key-value cache)를 기록하기 때문에, 메모리는 여전히 연산량에 비례해 증가한다. 추론(inference) 시점 기법들은 품질을 희생하는 대신 이 캐시를 줄일 수 있다. 우리는 메모리를 공유하도록 루프형 언어 모델을 사전학습(pre-training)한다: 오직 첫 번째 재귀만 캐시를 기록하고, 이후의 재귀들은 자신만의 짧은 윈도우를 유지하면서 이를 읽는다. 놀랍게도, 우리는 메모리 공유가 품질을 희생시키지 않으며 오히려 품질을 향상시킨다는 것을 발견했다. 1억 5천만~10억 개의 파라미터 규모에서, 우리의 루프형 예측 트랜스포머(Looped Prediction Transformer, LPT)와 그 하이브리드(hybrid) 변형은 루프형 모델에 대한 새로운 품질-메모리 프런티어를 제시한다: 다섯 번의 재귀를 사용할 때, 하이브리드 모델은 동일한 크기의 표준 트랜스포머에 비해 FineWeb-Edu에서의 검증(validation) 퍼플렉시티(perplexity)를 1.12~1.82만큼 낮추면서도 컨텍스트 메모리 사용량을 76~79% 줄인다. 광범위한 분석을 통해, 우리는 메모리 공유가 어떻게 도움이 되는지 조사한다. 공유 메모리와 로컬 메모리는 서로 다른 표현을 형성하며, 이후의 재귀들은 주로 공유 메모리에 주의를 기울이는데, 이 공유 메모리는 또한 첫 번째 재귀로 향하는 그래디언트(gradient) 하이웨이 역할을 한다.
CORE: KV 캐시를 위한 커버리지 캘리브레이션 및 제거 질량 재분배
CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache
긴 문맥(long-context) 디코딩은 키-값(KV) 캐시 메모리와 대역폭에 의해 점점 더 제한받고 있습니다. 기존의 고정 예산 압축 방법들은 대개 보존과 보상을 분리하는 반면, 보존 순위 지정 방식은 버려지는 어텐션(attention) 질량이나 유도된 출력 오차의 방향을 명시하지 못합니다. 본 연구는 정확한 분해로부터 출발합니다. 즉, 제거 오차는 제거된 어텐션 질량과 제거된 중심점(centroid) 및 보존된 출력 간의 방향 차이의 곱과 같으며, 이는 보존에서의 집합 수준 커버리지와 질량 보존 메모리 기록의 중요성을 강조합니다. 본 논문에서는 쿼리 효용성과 로그 행렬식 커버리지를 결합한 오프라인 할당을 경량 캐시 인식 인덱서로 증류하는 KV 캐시용 커버리지 캘리브레이션 및 제거 질량 재분배 기법인 CORE(COverage CAlibration and Evicted-Mass REdistribution for KV Cache)를 소개합니다. 추론(inference) 시 단 하나의 캘리브레이션된 분포가 두 경로를 모두 구동합니다. 이 분포의 상위 $B$개(Top-$B$) 순서는 상호보완적인 KV 상태들을 보존하는 한편, 제외된 할당 질량과 조건부 가중치(weight)는 별도의 기록 가중치 예측기나 온라인 로그 행렬식 계산 없이도 잠재 메모리 기록을 매개변수화합니다. 본 분석은 4개 항으로 구성된 사전 보상 오차 보증을 제공하고, 비가산적 커버리지 상호작용을 특성화하며, 순환 및 쿼리 적응형 정규화(normalization)를 통해 계층적 한계를 지닌 질량 독립적 기록 안정성을 확립합니다. 3가지 백본 전반에 걸쳐 CORE는 90% 압축률에서 가장 강력한 RULER 기준선(baseline) 대비 최대 3.78점 앞섰으며, LongBench 및 반복 제거 평가를 통해서도 강력한 유효성과 디코딩 효율성을 추가로 입증합니다.
Crossflow: 에이전트 LLM 서빙을 위한 Prefill-Decode 탄력성
Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving
서빙 용량 수요가 학습을 넘어서면서 서빙 효율이 점점 더 중요해진다. Prefill-decode(P/D) 분리는 두 단계의 특화와 격리를 통해 서빙 효율을 높인다. 이러한 이점은 정적 분할에 기반하지만, 단계별 수요는 정적이지 않다. 대규모 LLM 플릿에서 캐시되지 않은 입력 대 출력 토큰 비율은 분 단위 시간 척도에서 피크 대 평균 비가 최대 4.7배에 이르는 것을 관찰했고, 공개 에이전트 트레이스에서는 시간당 비율이 하루 안에서 중앙값 24.5배 범위에 걸치는 반면, 레플리카 재할당에는 수십 분이 걸린다. 에이전트 트래픽은 이러한 불일치를 더욱 심화시킨다. 각 풀을 95백분위수로 크기를 잡으면 클러스터 용량의 최대 17%가 미사용으로 남고, 그보다 작게 잡으면 동일한 불균형이 대기와 실현되지 못한 처리량으로 전환된다. 노드 역할을 바꾸지 않고 이 경계를 탄력적으로 만드는 Crossflow를 제안한다. 각 디코드 노드는 로컬 prefill 연산, KV 용량, 전송 작업, 예상 출력을 한정하는 단기·철회 가능한 lease를 공개한다. 공개 및 내부 트레이스에서 Crossflow는 정적 P/D 대비 기하평균 토큰 처리량을 16.2–17.4% 향상시키고, 고부하에서는 최대 43.4%까지 개선하며, 평가한 모든 지점에서 평균 TTFT를 줄인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
24 pages, 8 figures, 13 tables