Long-running LLM applications and autonomous agents repeatedly send growing context, making prefix caching critical for reducing prefill cost. This raises a fundamental question: do decades of traditional cache-management techniques transfer directly to agentic and conversational LLM serving? We analyze production traces comprising over 20 billion processed tokens and evaluate 14 eviction algorithms across capacity-constrained HBM and large memory-pool settings. We find that simple Least Recently Used (LRU) is surprisingly robust, offering competitive performance against sophisticated traditional policies, though substantial headroom to Belady's optimum remains. The reason is structural: prefix reuse is dominated by the steady pacing of active sessions, making recency an unusually strong predictor for eviction. Nevertheless, prefix caching diverges from traditional workloads in ways that recency ignores, notably the prevalence of single-turn requests, extreme session footprint skew, and highly non-uniform miss costs because attention computation scales with token depth. To close the gap to optimality, we establish several design principles for prefix-cache management: keeping recency as the baseline while incorporating quick demotion to filter one-hit prompts, compute-aware eviction to prioritize expensive misses, and capacity-adaptive eviction granularity. Our traces and simulator are publicly available.
SnapKV, H2O, PyramidKV와 같은 학습 불필요(training-free) KV 캐시(KV-cache) 압축 기법들은 프리필(prefill) 단계의 끝에서 토큰을 제거하여 향후 쿼리가 사용할 것으로 예상되는 어텐션 가중치 합(attention mass)을 보존하는 것을 목표로 하며, 즉 '무엇을 남길지'를 최적화합니다. 본 논문에서는 이러한 목표가 두 가지 서로 다른 방식으로 실패함을 보입니다. (1) 보상(Compensation): 제거된 어텐션 가중치 합을 복원하면 태스크 품질을 회복하지 못한 채 어텐션 수준의 목표치만 복구될 수 있습니다. (2) 선택(Selection): 복원된 가중치 합이 일관된 구간에 집중되지 않고 분절되어 있을 경우, 실제 디코드 쿼리 가중치 합을 더 많이 포함하더라도 오히려 품질이 저하될 수 있습니다. 이러한 실패는 공통된 원인을 공유합니다. 즉, 답변의 궤적을 결정하는 쿼리가 존재하기 전에 제거가 발생한다는 점입니다. 이에 따라 본 연구에서는 전체 캐시를 사용하여 첫 k=2개의 답변 토큰을 초안(draft)으로 생성할 때까지 제거를 연기하는 초안 유도 제거(Draft-Guided Eviction, DGE)를 제안합니다. 이는 프리필을 넘어 단 1회의 디코드 단계에 불과합니다. 초안은 답변 자체의 접두 문맥(prefix)으로부터 생성되므로, 이러한 궤적 신호를 사용할 수 있게 되기 전까지는 어떠한 캐시 항목도 폐기되지 않습니다. 헤드별 캐시 예산은 그대로 유지되며, DGE는 제거 점수를 수정하지 않고도 SnapKV, PyramidKV, H2O, StreamingLLM에 직접 적용할 수 있습니다. 추가 패스(extra-pass)를 사용하는 방식과 달리, DGE는 어떤 캐시 항목을 선택할지가 아니라 언제 제거가 일어나는지를 변경합니다. 광범위한 실험을 통해 DGE는 평가된 6개 인스트럭션 튜닝(instruct-tuned) 백본 중 5개에서 모든 평가 예산에 걸쳐 기존 기법보다 뛰어난 성능을 보였으며, LongBench에서 44.2점을 기록하여 FullKV의 44.3점에 거의 근접함을 입증했습니다. 시점만 조절한 대조군인 DGE-W 역시 동일한 점수를 기록하였는데, 이는 성능 향상이 무엇을 선택하는가가 아니라 언제 제거가 일어나는가에서 비롯됨을 보여주며, 본 연구에서는 이러한 효과를 '궤적 앵커링(trajectory anchoring)'이라 부릅니다.
멀티 에이전트 시스템은 복잡한 작업을 전문화된 에이전트 실행의 방향성 비순환 그래프(DAG)로 분해하며, 이는 쿼리 간 중간 결과를 캐싱할 자연스러운 기회를 만든다. 그러나 기존 캐시 퇴출(eviction) 정책은 접근 이력에 기반하여 모든 캐시 항목을 균일하게 취급하며, 에이전틱(agentic) 실행 환경에서만 고유하게 이용 가능한 구조적 및 워크로드 신호를 무시한다. 우리는 재계산 비용, DAG 의존성 수, 에이전트 호출 빈도라는 세 가지 신호를 통합 점수 함수로 결합하여 메모리 제약 하에서 가장 가치 있는 항목을 유지하는 워크로드 인식 퇴출 정책을 제안한다. 다양한 재사용 영역(reuse regimes)을 포괄하는 세 가지 멀티 에이전트 벤치마크에서 평가한 결과, 우리 정책은 캐시 없는 기준선 대비 지연 시간을 최대 64.7%까지 줄이고, 차선의 유한 용량 기준선 대비 평균 31.1%의 지연 시간 감소를 달성하며, 무제한 캐시의 성능에 근접하면서 정확도는 경쟁하는 모든 유한 용량 방법과 동등하거나 그 이상을 유지한다. 또한 워크로드 인식 콘텐츠 캐싱이 계획 수준 캐싱 및 병렬 에이전트 실행을 포함한 다른 에이전틱 시스템 최적화 방법과 상호 보완적임을 보였으며, 각 기법은 멀티 에이전트 파이프라인에서 서로 다른 효율성 병목을 대상으로 한다.