KV-LTM: 개인 비서를 위한 장기 기억으로서의 지속적 세션별 KV 캐시
KV-LTM: Persistent Per-Session KV Caches as Long-Term Memory for Personal Assistants
한국어 초록
개인 비서는 수개월 분량의 대화를 축적하지만, 오늘날의 장기 기억 스택은 질문과 그 증거 사이에 파생 또는 선택 과정을 둔다. LongMemEval에 대한 시스템 수준 비교에서 두 상용 비서는 동일한 모델이 오프라인으로 기록을 읽을 때보다 훨씬 낮은 점수를 받았으며[1], 이는 쓰기와 읽기 사이의 내용 손실과 부합하지만 이를 분리하여 규명하지는 않는다. 본 논문은 KV-LTM을 제안한다. 이는 고정된 리더 모델 하에서 각 세션의 원문 텍스트와 KV 캐시를 함께 저장하고, 캐시된 세션을 복원한 뒤 질문을 덧붙여 답하는 기억 계층이다. KV-LTM은 검색 및 색인을 대체하는 것이 아니라 보완한다. 텍스트가 기록상의 기억이며, 캐시는 재계산이 필요 없는 프리필 가속기로서 텍스트로 점진적으로 성능 저하되며 대체된다. 본 논문은 저장 레코드, 예산 기반 보존, 추가 전용 읽기 경로, 제한된 집계로 구성된 설계를 명시한다. 또한 이를 해석적으로 산정한다. 고정된 BF16 full-attention(GQA) 및 잠재 캐시 MLA 구성 전반에서 토큰당 상태는 약 31K~328K 바이트에 이르며(고정된 KDA+MLA 하이브리드는 다르게 토큰당 약 8.1K 바이트에 세션별 고정 순환 항이 추가된다), 하루 30K 토큰이라는 명시된 시나리오에서 사용자 1년당 약 0.34~3.6 TB가 되는 반면 원문 텍스트는 약 49 MB이다. 질의당 비용은 영역 조건부 전송, 어텐션, 디코딩, 집계, 연산으로 모형화한다. 또한 논리적 QA 평가를 위해 지속적 캐시 구현이 필요 없는 평가 프로토콜을 정의한다. 세션별 프리필이 동일한 모델/입력 상태 계약과 이상적 산술 하에서 유효한 캐시 재사용을 모사하며, 명명된 비교군, 통제된 기준선, 사전 등록된 리더 모델 게이트를 갖는다. 별도의 최소한의 실제 캐시 재생은 수치적 동등성을 검증하고 비용 축을 측정하며, 그 결과는 가정하지 않는다. KV-LTM은 명시된 보존 예산 내에서 저장 공간을 재프리필 연산 회피 및 쓰기 시점의 충실도와 맞바꾼다.
원문 초록
Personal assistants accumulate months of conversations, but today's long-term memory stacks put derivation or selection between a question and its evidence. In a system-level comparison on LongMemEval, two commercial assistants scored well below the same model reading the history offline [1], consistent with, but not isolating, content loss between write and read. We propose KV-LTM: a memory tier storing each session's raw text plus its KV cache under a fixed reader model, answering by restoring cached sessions and appending the question. KV-LTM is complementary to, not a replacement for, retrieval and indexing. Text is the memory of record; the cache is a recompute-free prefill accelerator, degrading gracefully to text. We specify the design: storage record, budget-derived retention, append-only read path, and bounded aggregation. We size it analytically: across pinned BF16 full-attention (GQA) and latent-cached MLA configurations, per-token state spans approximately 31K-328K bytes (the pinned KDA+MLA hybrid differs: approximately 8.1K bytes/token plus a fixed per-session recurrent term), giving approximately 0.34-3.6 TB per user-year at a declared 30K-token/day scenario, against approximately 49 MB of raw text; per-query cost is modelled as regime-conditional transfer, attention, decode, aggregation, and compute. We define an evaluation protocol needing no persistent-cache implementation for logical QA evaluation: per-session prefill emulates valid cache reuse under the same model/input-state contract and ideal arithmetic, with named arms, controlled baselines, and a preregistered reader-model gate; a separate minimal real-cache replay tests numerical equivalence and measures the cost axis, with outcomes not assumed. KV-LTM trades storage for avoided re-prefill compute and write-time fidelity, within a declared retention budget.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21998v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.