arXiv:2611.22179v1 cs.AI

메모리로 쓰는 RAG: 에이전트 시스템에 최소한의 메모리로 충분한 경우

RAG in a Trenchcoat: When Minimal Memory Is Enough for Agentic Systems, and When It Isn't

Jingyu Liu, Zongze Li, Zach Xu, Zhanhui Zhou, Tahseen Rabbani, Dawn Song, Ce Zhang

제출 2026-11-18

한국어 초록

에이전트 메모리 연구는 검색 증강 생성(RAG)에 정보 추출, 기존 내용 대체, 성찰, 그래프 합성을 덧붙여 왔다. 그러나 시험한 메모리 벤치마크에서 이 기능들은 대부분 비용에 걸맞은 성능 향상을 내지 못했다. 이를 확인하기 위해 관측 메모 연결, BM25와 코사인 유사도를 결합한 검색, 시간순 출력으로만 구성한 간결한 RAG 메모리 BRIDGE를 사용했다. 동일한 판독 모델에서 BRIDGE는 LongMemEval-S와 BEAM의 기존 최고 성능과 부트스트랩 신뢰구간 안에서 비슷했고, EverMemBench의 최고 메모리 기준선보다 5.7~6.3점 높았다. 쿼리당 판독기 프롬프트에 약 5천~7천 토큰을 쓰고, 데이터 입력 및 쿼리마다 LLM을 한 번 호출한다. 이런 성능 동등성 자체가 연구 결과라고 본다. 표준 벤치마크는 메모리에서 무엇을 검색했는지 평가하지만, 에이전트가 행동할 때 무엇을 할 수 있게 됐는지는 평가하지 않는다. 후자를 시험하기 위해 규칙 적용의 두 조건, 문체 및 절차의 패턴 유도, 동적으로 진행하는 다중 턴으로 이루어진 난도 높은 탐침 다섯 개를 도입했다. 생성 시 여러 공급사의 모델을 거치는 검증 절차로 평가하며, 각 쿼리는 명시하지 않은 규칙이나 패턴을 기억해 적용해야만 풀 수 있다. 탐침 다섯 개와 시나리오 20개의 조합에서 모든 조건을 이긴 아키텍처는 없었다. 개별 사실 추출기 LangMem은 규칙 적용에서, BRIDGE의 블록 요약 메모리는 패턴 유도에서 우수했다. 이 결과는 네 도메인, 평가기 세 개, 판독 모델 세 계열에서 유지됐다. 각 설계가 실패하는 원인은 재현율 벤치마크로는 발견하기 어렵다. 개별 사실 추출기는 시연한 패턴의 형태를 버린다. 블록 요약 메모리는 규칙을 검색해도 판독기가 적용하지 않는 경우가 있으며, 규칙을 더 눈에 띄게 제공하면 이 격차가 대부분 줄어든다. 따라서 에이전트 메모리는 검색 결과에 더해 에이전트가 수행할 수 있게 된 행동을 기준으로 평가할 필요가 있다.

원문 초록

Agentic memory research has accumulated extraction, supersession, reflection, and graph synthesis on top of retrieval-augmented generation. However, we found that almost none of those primitives earn their cost in our tested memory benchmarks: we show this with BRIDGE, a deliberately minimal RAG memory with chained observation notes, hybrid BM25 with cosine retrieval, and chronological rendering, which reaches parity within bootstrap CI with the prior SOTA on LongMemEval-S and BEAM, and beats the best memory baseline on EverMemBench by 5.7-6.3 points at matched reader. It runs at ~5-7K reader-prompt tokens per query, using a single LLM call for each ingestion or query. We argue that this parity is itself the result: standard benchmarks score what memory retrieves, not what memory enables when the agent acts. To test the latter, we introduce five adversarial probes (Rule Application +-, Pattern Induction Style / Procedural, Dynamic Multiturn) judged at generation time by a cross vendor verification chain, where each query can only be solved by applying a remembered rule or pattern it never mentions. Across 5 probes x 20 scenarios, no architecture wins universally: atomic fact extractors (LangMem) win rule application, while BRIDGE's block-summary memory wins pattern induction. This result holds across four domains, three graders, and three reader families. Each design fails where the other wins, for reasons a recall benchmark cannot see: atomic-fact extractors discard the form a demonstrated pattern takes, while block-summary memory retrieves the rule but the reader does not act on it, a gap that presenting the rule more prominently largely closes. What separates memory designs is not what they retrieve but what they enable an agent to do, and that is what agentic memory should be evaluated on.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22179v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.