PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13361v1cs.AI

KV 캐시를 구매할 수 있을까요?

Can I Buy Your KV Cache?

AI 에이전트들이 동일한 문서를 처리할 때 반복되는 프리필(prefill) 연산을 줄이기 위해, 발행자가 미리 계산한 KV 캐시를 에이전트가 구매하여 로드하는 방식을 제안합니다. Qwen3-4B 모델에서 이 방식은 정확도 손실 없이 기존 프리필 대비 9-50배의 비용 절감 효과를 보여줍니다.