arXiv:2611.19752v1 cs.CL

StaleBench: 에이전트 메모리에서 오래된 정보 검색 문제를 분리하고 해결 비용 측정하기

StaleBench: Isolating Stale Retrieval in Agent Memory, and Pricing the Fix

S M Mahbub Murshed

제출 2026-11-17

한국어 초록

에이전트가 시간에 따라 사실을 저장하다 보면 동일한 사실의 여러 버전을 보관하게 된다. ‘X는 지금 어느 팀에서 뛰는가?’처럼 값 자체에 대한 단서가 없는 질문을 받으면, 유사도 기반 검색기는 최신 버전을 우선할 수 없다. 모든 버전이 쿼리에서 언급한 개체와 일치하기 때문이다. StaleBench는 실제로 바뀐 사실 892개를 사용해 오래된 정보를 검색하는 실패를 분리해 평가한다. 최신성 레이블은 검색 점수가 아니라 원천 자료에서 얻는다. TempLAMA를 통해 가져온 Wikidata의 유효 연도를 사용한다. 핵심 결과는 검색 평가지표가 메모리 정책의 순위를 실제와 반대로 매길 수 있다는 점이다. 보존 정책을 적용한 시스템과 모든 정보를 남기는 대조군은 모든 테스트 쿼리에서 동일한 문장을 1위로 반환했다. 그럼에도 날짜를 표시하지 않았을 때 두 읽기 모델의 답변 정확도는 각각 29.5포인트와 65.6포인트 차이가 났다. 본 연구가 추가한 Contamination@5는 두 정책의 순위를 올바르게 구분했으나 current@1과 current@5는 그러지 못했다. 저장 문장에 포함된 어휘 단서를 제거하면 실제 배포에서 쓰는 키 지정 방식의 최신성 점수가 수십 포인트 떨어진다. 기록할 때와 질의할 때 모두 동일한 개체가 무엇인지 식별하면 손실의 대부분을 회복할 수 있다. 배포된 세 시스템(Mem0, Graphiti, LangMem)과 다시 구현한 ERASE는 이전 사실을 새 사실로 대체하는 방식이 각각 다르다. 단일 채점 방식으로는 네 시스템 모두를 설명할 수 없다. 데이터와 버전을 고정한 평가기, 참조 기준선을 공개한다.

원문 초록

An agent that stores facts over time eventually stores several versions of the same fact. Asked a value-agnostic question - "which team does X play for now?" - a similarity retriever cannot prefer the current version, because every version matches the entity the query names. StaleBench isolates this stale-retrieval failure on 892 real updating facts, with currency labels from the source (Wikidata validity years via TempLAMA), never from a retrieval score. Our central result is that retrieval metrics can rank memory policies backwards: a retention policy and its retain-everything control return the identical statement at rank 1 for every test query, yet differ by 29.5 and 65.6 points in reader accuracy on two readers when no date is shown. Contamination@5, the metric we add, ranks them correctly where current@1 and current@5 do not. Withdrawing the lexical anchor that statements carry costs deployed keying mechanisms tens of points of freshness; entity resolution on both the write path and the query recovers most of the loss. Three deployed systems (Mem0, Graphiti, LangMem) and a reimplemented ERASE each handle supersession differently, and no single scoring convention describes all four. We release the data, a frozen evaluator, and reference baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19752v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.