KV 캐시를 구매할 수 있을까요?
Can I Buy Your KV Cache?
AI 에이전트들이 동일한 문서를 처리할 때 반복되는 프리필(prefill) 연산을 줄이기 위해, 발행자가 미리 계산한 KV 캐시를 에이전트가 구매하여 로드하는 방식을 제안합니다. Qwen3-4B 모델에서 이 방식은 정확도 손실 없이 기존 프리필 대비 9-50배의 비용 절감 효과를 보여줍니다.
Can I Buy Your KV Cache?
AI 에이전트들이 동일한 문서를 처리할 때 반복되는 프리필(prefill) 연산을 줄이기 위해, 발행자가 미리 계산한 KV 캐시를 에이전트가 구매하여 로드하는 방식을 제안합니다. Qwen3-4B 모델에서 이 방식은 정확도 손실 없이 기존 프리필 대비 9-50배의 비용 절감 효과를 보여줍니다.