Long-running LLM applications and autonomous agents repeatedly send growing context, making prefix caching critical for reducing prefill cost. This raises a fundamental question: do decades of traditional cache-management techniques transfer directly to agentic and conversational LLM serving? We analyze production traces comprising over 20 billion processed tokens and evaluate 14 eviction algorithms across capacity-constrained HBM and large memory-pool settings. We find that simple Least Recently Used (LRU) is surprisingly robust, offering competitive performance against sophisticated traditional policies, though substantial headroom to Belady's optimum remains. The reason is structural: prefix reuse is dominated by the steady pacing of active sessions, making recency an unusually strong predictor for eviction. Nevertheless, prefix caching diverges from traditional workloads in ways that recency ignores, notably the prevalence of single-turn requests, extreme session footprint skew, and highly non-uniform miss costs because attention computation scales with token depth. To close the gap to optimality, we establish several design principles for prefix-cache management: keeping recency as the baseline while incorporating quick demotion to filter one-hit prompts, compute-aware eviction to prioritize expensive misses, and capacity-adaptive eviction granularity. Our traces and simulator are publicly available.
크로스 컨텍스트 KV-캐시 재사용은 공유 세그먼트의 키와 값을 재계산하는 대신 새로운 접두 문맥(prefix) 하에서 이를 예측하며, 품질 손실 없이 이를 수행한다고 보고되어 왔다. 그러나 우리는 그렇지 않다는 것을 발견했으며, 두 가지 문제를 확인했다. (1) 숨겨진 비용: MMLU와 GSM8K에서 재사용은 상당한 정확도 손실을 초래한다. (2) 잘못된 단위에서의 결정: 캐시를 재사용할지 여부를 결정하는 규칙만으로는 이 비용을 제거하지 못한다. 실제로 도움이 되는 것은 캐시의 어느 부분을 재계산할지 선택하는 것이며, 잘 선택하는 것의 가치는 선택 단위가 커질수록 감소한다. 정보에 기반한 선택은 단일 행(한 토큰의 키와 값) 단위에서는 우연 수준을 넘어 캐시 오차의 49.5%를 제거하지만, 64토큰 청크 단위에서는 10.6%, 전체 호출 단위에서는 전혀 제거하지 못한다. 예산 기반 캐시 복구(Budgeted Cache Repair, BCR)는 선택이 여전히 유효한 단위에서 작동한다. BCR은 조립된 캐시로부터 두 개의 토큰을 초안(draft)으로 생성하고, 이 토큰들이 각 캐시 행에 기울이는 어텐션(attention)에 따라 캐시 행의 순위를 매긴 뒤, 세 가지 배치(layout) 중 하나로 고정된 예산만큼의 행을 정확히 재계산한다. 비용은 예측을 통해 회피되는 것이 아니라 실제로 지불되며, 게이트로서는 실패하는 초안이 선택기(selector)로서는 성공한다. BCR은 대부분의 호출을 여전히 캐시로부터 처리하면서도 GSM8K를 밀집 프리필(dense-prefill) 정확도로 복원하며, 최적의 배치는 참조 그리드(reference grid) 내 모든 재사용 기준선(baseline)의 평균을 상회한다. 또한 이 초안은 동일한 예산에서 동전 던지기(coin-flip) 선택기보다 우수한 성능을 보이는데, 이는 기존 평가들에 없던 대조 실험(control)이다.
콘텐츠 전송 네트워크(CDN)의 클라이언트 캐싱 설계에서 영감을 받아, PTStore는 재사용 가능한 KV 캐시 접두 문맥을 형성하는 인기 텐서를 분산하고 복제한다. 이 접두 문맥은 최신(state-of-the-art) 접근법들이 추론 가속에 사용하는 핵심 기법이다. 이를 통해 KV 캐시 접근 지연을 줄이고, 인기 텐서를 보유한 서버에 비례하지 않게 많은 요청이 집중되어 발생하는 부하 불균형을 완화한다. 또한 탈중앙화 덕분에 PTStore는 대규모 언어 모델(LLM) 추론을 위한 KV 캐시 크기를 수배 이상 확장할 수 있다. 그 결과 PTStore는 서로 다른 노드와 GPU에 걸쳐 메모리를 집계하지 않아 KV 캐시를 재생성해야 하는 현재 베이스라인 대비, 긴 구절 Q&A 데이터셋에서 추론을 5~6배 더 효율적으로 수행할 수 있다.
본 논문에서는 온라인(스트리밍) 및 오프라인(배치) 대규모 언어 모델(LLM) 서빙 모두를 위한 경량 스케줄링 및 제거 프레임워크인 PEEK를 소개하며, 이 논문은 온라인 환경에 초점을 맞춘다. PEEK는 대기 큐에 대해 점진적 래딕스 트리를 유지하여 기존 엔진에서는 드러나지 않는 접두 문맥 공유 클러스터를 노출한다. 오버헤드가 낮은 이중 탐색(dual-walk)은 트리를 엔진의 접두 문맥 캐시와 대조하여 대기 중인 모든 요청에 대해 최장 접두 문맥 매칭을 도출하며, PEEK는 클러스터 선두 요청을 먼저 수용하여 이후 요청들이 새로 캐시된 접두 문맥을 상속받도록 하고, 공동 설계된 제거 훅(eviction hook)이 대기 중인 요청의 상위 블록을 보호하며, 다중 레인 스트라이드 스케줄러가 기아 현상을 억제한다. SGLang 및 vLLM에서 최대 4×H100(DP=2, TP=2)을 사용하는 5가지 워크로드에 대해, PEEK는 각 엔진의 가장 강력한 기본 기준선(SGLang/vLLM) 대비 캐시 히트 최대 3.0×/2.6×, TTFT 7.9×/7.1×, E2E 6.7×/5.5×, 처리량 3.6×/4.5× 향상을 달성하며, 활용 가능한 접두 문맥 구조가 없는 워크로드에서는 기준선과 노이즈 범위 내에서 동등한 성능을 보인다. KV 캐시 부하와 추론 병렬성이 확장될수록 성능 향상은 유지된다.
접두 문맥 캐싱은 공유 프롬프트를 포함하는 요청 간에 KV 캐시를 재사용하여 대규모 언어 모델(LLM) 추론 지연 시간을 줄일 수 있지만, 캐시가 노드 간에 분할되어 있어 클러스터 규모의 재사용은 어렵습니다. 본 논문에서는 P2P LLM 서빙을 위한 탈중앙화된 접두 문맥 캐시 인식 라우팅 방식을 제안합니다. 각 노드는 자신의 캐시된 접두 문맥에 대한 로컬 기수 트리와 주기적 안티-엔트로피를 사용하여 비동기적으로 갱신된 피어 캐시 추정치를 유지합니다. 요청은 중앙 집중형 조율이나 KV 캐시 전송 없이 가장 긴 추정 접두 문맥 일치를 가진 노드로 라우팅됩니다. 오래된 메타데이터는 캐시 미스만 유발할 뿐 잘못된 출력을 유발하지 않으므로, 약한 일관성만으로도 정확성을 보장하기에 충분합니다. 시뮬레이션된 MMLU 워크로드에 대한 평가 결과, 탈중앙화 라우팅은 낮은 통신 지연과 치우친 접두 문맥 분포 하에서 지연 시간을 개선하지만, 높은 네트워크 지연과 선호도로 인한 핫스팟은 그 이점을 제한함을 보여줍니다.
접두 문맥(prefix) 캐싱은 정확히 동일한 접두 문맥에서만 prefill을 재사용하므로, 하나의 필드가 바뀌면 그 아래 전체 캐시가 무효화된다. 그러나 해당 필드 자체의 key/value 벡터만 덮어쓰고 나머지를 재사용하면, 모델은 여전히 이전 값에 따라 동작한다. 이유는 네 가지 모델 패밀리에 걸쳐 인과적으로 규명되었다: prefill 단계에서 모델은 이미 필드 조건 결론을 하류 노트에 기록했으며, 해당 필드 자체의 key/value는 결정의 1% 미만만 좌우한다. 메모이제이션된 결론의 노트북으로 읽으면, 두 가지 능력이 뒤따른다. (1) 편집 가능하다. 눈에 띄는 정정(erratum)이 노트를 수정하며, 사고의 연쇄(Chain-of-Thought)와 함께라면 필드만 편집해도 결정을 복구한다(8B에서 1.00, 연산량 ~1%), CoT 없이는 무시된다. (2) 조합 가능하다. 노트는 위치 이식이 가능하므로, 사전 컴파일된 스킬을 RoPE로 재배치하여 임의의 컨텍스트에 이어 붙일 수 있으며, 전체 재계산과 구별되지 않는다(로짓 코사인 0.90–0.999, 12개 모델), time-to-first-token은 O(L²)이 아닌 O(L)이다. 통합 편집+조합 에이전트는 최대 14.9배 낮은 지연 시간으로 재계산과 결정상 동일하게 유지된다. 이 접근법은 토큰별 어텐션 KV cache에 적용 가능하며, 스케일, 양자화, 전문가 혼합(MoE), 멀티모달 캐시에 걸쳐 검증되었고, 소형 어댑터를 통해 여러 어텐션 변형으로 확장된다. 정정은 append-only이므로 프로덕션 접두 문맥 캐싱과 조합된다: 온라인 vLLM 벤치마크에서 접두 문맥 캐시를 정렬 상태로 유지(히트율 98.5%)하며, p90 time-to-first-token을 53–398배 단축한다.