arXiv:2610.07309v1 cs.AI

잘못된 문맥 속의 올바른 기억: 장기 에이전트 메모리에서의 검색 허용 가능성 검증

The Right Memory in the Wrong Context: Verifying Retrieval Admissibility in Long-Term Agent Memory

Zi Wang, Xingqiao Wang, Emmanuel Addai, Devika Ambekar, Xiaowei Xu

제출 2026-10-05

저자 비고

arXiv Comments

26 pages. Accepted at the NeurIPS 2026 Workshop "Who Verifies the Agents? Toward Reliable Agent Development". Code: https://github.com/ziwang11112/right-memory-wrong-context

한국어 초록

장기 메모리 에이전트(agent)는 다른 주체에 속하거나 정책을 위반하거나 호환되지 않는 수명 주기 상태를 반영하여 현재 요청에 허용되지 않는 관련 정보를 검색할 수 있습니다. 재현율(recall)과 최종 답변 정확도는 이를 드러내지 못합니다. 필요한 증거를 누락함으로써 어떤 경로가 안전해 보일 수 있는 반면, 정답이 허용되지 않는 프롬프트(prompt) 노출을 수반할 수도 있습니다. 본 연구에서는 각 메모리-쿼리 쌍에 세 가지 상태(허용 가능, 허용 불가, 미해결) 중 하나를 할당하고, 미해결 사례에 대한 경계와 함께 일치된 필수 증거 재현율에서 경로를 비교하며, 프롬프트 노출을 통해 메모리 ID를 추적하는 동시에 해당 노출을 타깃 수준의 공개와 연결하는 검색 허용 가능성 검증 프레임워크를 도입합니다. 우리는 통합되지 않은 별도의 모집단에서 각 단계를 평가합니다. 두 가지 공개 장기 메모리 벤치마크인 RHELM 및 MemOps의 고정된 순위에 대한 3,767개 쿼리 대상 사후 상위 20개 재분석을 수행했습니다. 공개된 모든 앵커는 신뢰할 수 있는 쿼리 네임스페이스 내에 존재하며, 네임스페이스 내 점수가 변경되지 않으므로 네임스페이스 외부 필터링으로 인해 순위가 낮아질 수 없습니다. 상위 20개 앵커 재현율은 0.432에서 0.533으로 증가하고, 80% 재현율 실현 가능성은 0.237에서 0.311로 증가하며, 정확한 유사도 평가는 98.3% 감소합니다. 고정된 72개 사례 개발 진단에서 공개 메타데이터 참조는 필수 증거를 보존하는 반면, 텍스트 전용 검증기는 1% 필수 앵커 오거부 한계 내에서 위반을 감지하지 못합니다. 1,523개의 쌍을 이룬 벤치마크 고유 사례 전반에서 네임스페이스 라우팅은 세 명의 리더(reader)에 걸쳐 0.053-0.068의 평가된 정확도 향상과 관련이 있습니다. 재현율 또한 변경되므로 이 비교는 관찰적입니다. 16개의 통제된 노출 시나리오 중, 4개의 리더별 95% 신뢰 구간 중 단 하나만이 관련-비허용 문자 그대로의 공개에 대해 0을 배제합니다(+0.156, 95% CI [0.031, 0.312]). 이러한 결과는 후보 지원, 허용 가능성, 프롬프트 노출, 답변 공개에 대한 개별적인 검증의 필요성을 시사합니다.

원문 초록

Long-term-memory agents can retrieve relevant information that is inadmissible for the current request because it belongs to another principal, violates policy, or reflects an incompatible lifecycle state. Recall and final-answer accuracy do not reveal this: a route can appear safe by missing required evidence, while a correct answer may follow inadmissible prompt exposure. We introduce a retrieval-admissibility verification framework that assigns each memory-query pair one of three statuses (admissible, inadmissible, or unresolved), compares routes at matched required-evidence recall with bounds for unresolved cases, and tracks memory IDs through prompt exposure while linking exposure to target-level disclosure. We evaluate its stages on separate, non-pooled populations. A post-hoc top-20 reanalysis of frozen rankings from two public long-term-memory benchmarks, RHELM and MemOps, covers 3,767 queries. All released anchors lie within trusted query namespaces; with within-namespace scores unchanged, off-namespace filtering cannot lower their ranks. Top-20 anchor recall increases from 0.432 to 0.533, 80% recall feasibility from 0.237 to 0.311, and exact similarity evaluations decrease by 98.3%. In a frozen 72-case development diagnostic, a released-metadata reference preserves required evidence, whereas neither text-only verifier detects violations under the 1% required-anchor false-denial limit. Across 1,523 paired benchmark-native cases, namespace routing is associated with judged-accuracy gains of 0.053-0.068 across three readers; recall also changes, so this comparison is observational. In 16 controlled exposure scenarios, only one of four reader-specific 95% confidence intervals excludes zero for relevant-inadmissible literal disclosure (+0.156, 95% CI [0.031, 0.312]). Results motivate separate verification of candidate support, admissibility, prompt exposure, and answer disclosure.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07309v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.