크로스 컨텍스트 KV-캐시 재사용을 위한 예산 기반 캐시 복구
Budgeted Cache Repair for Cross-Context KV-Cache Reuse
크로스 컨텍스트 KV-캐시 재사용은 공유 세그먼트의 키와 값을 재계산하는 대신 새로운 접두 문맥(prefix) 하에서 이를 예측하며, 품질 손실 없이 이를 수행한다고 보고되어 왔다. 그러나 우리는 그렇지 않다는 것을 발견했으며, 두 가지 문제를 확인했다. (1) 숨겨진 비용: MMLU와 GSM8K에서 재사용은 상당한 정확도 손실을 초래한다. (2) 잘못된 단위에서의 결정: 캐시를 재사용할지 여부를 결정하는 규칙만으로는 이 비용을 제거하지 못한다. 실제로 도움이 되는 것은 캐시의 어느 부분을 재계산할지 선택하는 것이며, 잘 선택하는 것의 가치는 선택 단위가 커질수록 감소한다. 정보에 기반한 선택은 단일 행(한 토큰의 키와 값) 단위에서는 우연 수준을 넘어 캐시 오차의 49.5%를 제거하지만, 64토큰 청크 단위에서는 10.6%, 전체 호출 단위에서는 전혀 제거하지 못한다. 예산 기반 캐시 복구(Budgeted Cache Repair, BCR)는 선택이 여전히 유효한 단위에서 작동한다. BCR은 조립된 캐시로부터 두 개의 토큰을 초안(draft)으로 생성하고, 이 토큰들이 각 캐시 행에 기울이는 어텐션(attention)에 따라 캐시 행의 순위를 매긴 뒤, 세 가지 배치(layout) 중 하나로 고정된 예산만큼의 행을 정확히 재계산한다. 비용은 예측을 통해 회피되는 것이 아니라 실제로 지불되며, 게이트로서는 실패하는 초안이 선택기(selector)로서는 성공한다. BCR은 대부분의 호출을 여전히 캐시로부터 처리하면서도 GSM8K를 밀집 프리필(dense-prefill) 정확도로 복원하며, 최적의 배치는 참조 그리드(reference grid) 내 모든 재사용 기준선(baseline)의 평균을 상회한다. 또한 이 초안은 동일한 예산에서 동전 던지기(coin-flip) 선택기보다 우수한 성능을 보이는데, 이는 기존 평가들에 없던 대조 실험(control)이다.