PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00366v1cs.AI

에이전트는 무엇을 기억해야 하는가? 유한 메모리 평가에서 보존과 검색의 분리

What Should an Agent Remember? Disentangling Retention from Retrieval in Bounded-Memory Evaluation

영속적인(persistent) 에이전트는 정보가 유입될 때 무엇을 보존할지와 쿼리가 주어졌을 때 무엇을 표면화할지를 모두 결정해야 하지만, 기존의 메모리 평가는 보존과 선택 방식이 모두 서로 다른 방법들을 비교함으로써 이러한 결정들을 혼동시킬 수 있다. 본 연구에서는 보존 규칙과 선택 규칙을 교차 구성한 스트리밍 재현율(streaming-recall) 벤치마크를 구축하고, 동일한 300개의 시드 에피소드에서 모든 조건을 평가한다. 접근 가능한 범위를 고정했을 때, 쿼리 인식(query-aware) 선택은 필요한 사실에 대한 재현율을 15.5%p(95% CI: 12.8~18.2) 향상시키는 반면, 과거 이력 접근성까지 함께 변화시키는 혼합 비교에서는 68.7%p의 이점을 보고하며 이 중 53.2%p는 이력 접근성에 기인한다. 제한된 보존 조건에서 쿼리 인식, 밀집(dense), 오라클(oracle) 선택은 보존 상한선(retention ceiling)에 도달하며, 제한된 최신성(bounded recency) 조건에서 관찰된 319건의 실패는 모두 순위 지정(ranking) 오류가 아닌 축출(eviction)로 인해 발생한다. 목표 대상이 과거로 충분히 멀어짐에 따라 재현율은 0%로 떨어진다. SQuAD에서 평가를 반복해도 보존 상한선은 유지되면서 밀집 검색(dense retrieval)이 자연어 텍스트에서 어휘 검색(lexical retrieval)보다 우수한 성능을 보일 수 있음을 확인했다. 이러한 결과는 유한 메모리 평가 시 이력 접근성을 고정하고 보존과 선택을 분리하여 보고해야 함을 보여준다.