크로스 컨텍스트 KV-캐시 재사용은 공유 세그먼트의 키와 값을 재계산하는 대신 새로운 접두 문맥(prefix) 하에서 이를 예측하며, 품질 손실 없이 이를 수행한다고 보고되어 왔다. 그러나 우리는 그렇지 않다는 것을 발견했으며, 두 가지 문제를 확인했다. (1) 숨겨진 비용: MMLU와 GSM8K에서 재사용은 상당한 정확도 손실을 초래한다. (2) 잘못된 단위에서의 결정: 캐시를 재사용할지 여부를 결정하는 규칙만으로는 이 비용을 제거하지 못한다. 실제로 도움이 되는 것은 캐시의 어느 부분을 재계산할지 선택하는 것이며, 잘 선택하는 것의 가치는 선택 단위가 커질수록 감소한다. 정보에 기반한 선택은 단일 행(한 토큰의 키와 값) 단위에서는 우연 수준을 넘어 캐시 오차의 49.5%를 제거하지만, 64토큰 청크 단위에서는 10.6%, 전체 호출 단위에서는 전혀 제거하지 못한다. 예산 기반 캐시 복구(Budgeted Cache Repair, BCR)는 선택이 여전히 유효한 단위에서 작동한다. BCR은 조립된 캐시로부터 두 개의 토큰을 초안(draft)으로 생성하고, 이 토큰들이 각 캐시 행에 기울이는 어텐션(attention)에 따라 캐시 행의 순위를 매긴 뒤, 세 가지 배치(layout) 중 하나로 고정된 예산만큼의 행을 정확히 재계산한다. 비용은 예측을 통해 회피되는 것이 아니라 실제로 지불되며, 게이트로서는 실패하는 초안이 선택기(selector)로서는 성공한다. BCR은 대부분의 호출을 여전히 캐시로부터 처리하면서도 GSM8K를 밀집 프리필(dense-prefill) 정확도로 복원하며, 최적의 배치는 참조 그리드(reference grid) 내 모든 재사용 기준선(baseline)의 평균을 상회한다. 또한 이 초안은 동일한 예산에서 동전 던지기(coin-flip) 선택기보다 우수한 성능을 보이는데, 이는 기존 평가들에 없던 대조 실험(control)이다.
SnapKV, H2O, PyramidKV와 같은 학습 불필요(training-free) KV 캐시(KV-cache) 압축 기법들은 프리필(prefill) 단계의 끝에서 토큰을 제거하여 향후 쿼리가 사용할 것으로 예상되는 어텐션 가중치 합(attention mass)을 보존하는 것을 목표로 하며, 즉 '무엇을 남길지'를 최적화합니다. 본 논문에서는 이러한 목표가 두 가지 서로 다른 방식으로 실패함을 보입니다. (1) 보상(Compensation): 제거된 어텐션 가중치 합을 복원하면 태스크 품질을 회복하지 못한 채 어텐션 수준의 목표치만 복구될 수 있습니다. (2) 선택(Selection): 복원된 가중치 합이 일관된 구간에 집중되지 않고 분절되어 있을 경우, 실제 디코드 쿼리 가중치 합을 더 많이 포함하더라도 오히려 품질이 저하될 수 있습니다. 이러한 실패는 공통된 원인을 공유합니다. 즉, 답변의 궤적을 결정하는 쿼리가 존재하기 전에 제거가 발생한다는 점입니다. 이에 따라 본 연구에서는 전체 캐시를 사용하여 첫 k=2개의 답변 토큰을 초안(draft)으로 생성할 때까지 제거를 연기하는 초안 유도 제거(Draft-Guided Eviction, DGE)를 제안합니다. 이는 프리필을 넘어 단 1회의 디코드 단계에 불과합니다. 초안은 답변 자체의 접두 문맥(prefix)으로부터 생성되므로, 이러한 궤적 신호를 사용할 수 있게 되기 전까지는 어떠한 캐시 항목도 폐기되지 않습니다. 헤드별 캐시 예산은 그대로 유지되며, DGE는 제거 점수를 수정하지 않고도 SnapKV, PyramidKV, H2O, StreamingLLM에 직접 적용할 수 있습니다. 추가 패스(extra-pass)를 사용하는 방식과 달리, DGE는 어떤 캐시 항목을 선택할지가 아니라 언제 제거가 일어나는지를 변경합니다. 광범위한 실험을 통해 DGE는 평가된 6개 인스트럭션 튜닝(instruct-tuned) 백본 중 5개에서 모든 평가 예산에 걸쳐 기존 기법보다 뛰어난 성능을 보였으며, LongBench에서 44.2점을 기록하여 FullKV의 44.3점에 거의 근접함을 입증했습니다. 시점만 조절한 대조군인 DGE-W 역시 동일한 점수를 기록하였는데, 이는 성능 향상이 무엇을 선택하는가가 아니라 언제 제거가 일어나는가에서 비롯됨을 보여주며, 본 연구에서는 이러한 효과를 '궤적 앵커링(trajectory anchoring)'이라 부릅니다.