Recurrent memory agents extend LLMs to arbitrarily long contexts by iteratively consolidating input into a fixed-size memory window. Despite their scalability, these agents exhibit a well-documented reliability problem: end-to-end performance degrades systematically as context length grows. We diagnose this failure by decomposing performance into two factors---memory capture and memory retention---and quantitatively confirm that retention is the dominant bottleneck. Retention collapses because existing designs maintain memory as a monolithic text block, forcing every update to risk overwriting previously retained content. Motivated by this diagnosis, we propose Multi-Head Recurrent Memory (MHM), a general, training-free framework that partitions memory into independent heads governed by a stage-wise select-then-update strategy. At each step, exactly one head is selected for update while the remaining heads are structurally shielded from overwriting, shifting the burden of retention from model behavior to architectural design. As a lightweight instantiation, we introduce Least-Recently-Updated MHM (MHM-LRU), which guarantees uniform head utilization with zero additional token overhead. Extensive experiments on long-context benchmarks show that MHM-LRU substantially improves both retention and end-to-end accuracy across the 100K--1M token range, where baselines degrade sharply. On RULER-HQA at 896K tokens, MHM-LRU improves the memory retention rate from less than 30% to 73.96%. These gains generalize across model families, scales, and task types, positioning architectural optimization as a practical and cost-efficient path toward reliable long-context recurrent memory.
영속적인(persistent) 에이전트는 정보가 유입될 때 무엇을 보존할지와 쿼리가 주어졌을 때 무엇을 표면화할지를 모두 결정해야 하지만, 기존의 메모리 평가는 보존과 선택 방식이 모두 서로 다른 방법들을 비교함으로써 이러한 결정들을 혼동시킬 수 있다. 본 연구에서는 보존 규칙과 선택 규칙을 교차 구성한 스트리밍 재현율(streaming-recall) 벤치마크를 구축하고, 동일한 300개의 시드 에피소드에서 모든 조건을 평가한다. 접근 가능한 범위를 고정했을 때, 쿼리 인식(query-aware) 선택은 필요한 사실에 대한 재현율을 15.5%p(95% CI: 12.8~18.2) 향상시키는 반면, 과거 이력 접근성까지 함께 변화시키는 혼합 비교에서는 68.7%p의 이점을 보고하며 이 중 53.2%p는 이력 접근성에 기인한다. 제한된 보존 조건에서 쿼리 인식, 밀집(dense), 오라클(oracle) 선택은 보존 상한선(retention ceiling)에 도달하며, 제한된 최신성(bounded recency) 조건에서 관찰된 319건의 실패는 모두 순위 지정(ranking) 오류가 아닌 축출(eviction)로 인해 발생한다. 목표 대상이 과거로 충분히 멀어짐에 따라 재현율은 0%로 떨어진다. SQuAD에서 평가를 반복해도 보존 상한선은 유지되면서 밀집 검색(dense retrieval)이 자연어 텍스트에서 어휘 검색(lexical retrieval)보다 우수한 성능을 보일 수 있음을 확인했다. 이러한 결과는 유한 메모리 평가 시 이력 접근성을 고정하고 보존과 선택을 분리하여 보고해야 함을 보여준다.
장시간 대화를 수행하는 대규모 언어 모델(LLM) 에이전트는 방대한 양의 정보를 축적하지만, 기존 메모리 시스템은 모든 것을 무차별적으로 유지하거나 관련 지식과 무관한 지식을 구분하지 못하는 균일한 망각 휴리스틱을 적용한다. 본 논문은 CAMeR(Context-Activated Memory Reinforcement)를 제안한다. 이는 키워드 게이트 하이브리드 활성화—기호적(word-level Jaccard) 및 하위기호적(임베딩 cosine) 게이팅 메커니즘의 결합—와 적응형 가중치 동역학을 결합한 메모리 유지 프레임워크이다. CAMeR은 각 메모리-쿼리 쌍에 대해 하이브리드 유사도 점수를 계산한다. 임계값을 초과하는 메모리는 강화를 받으며, 모든 메모리는 통제된 감쇠를 겪는다. CAMeR-Bench를 도입한다. 이는 8개 주제 클러스터에 걸쳐 단계적 활성화 빈도를 갖는 76개 메모리, 100라운드 벤치마크로, 기존 벤치마크(LoCoMO, LongMemEval)가 검증할 수 없는 적응형 유지를 테스트하도록 설계되었다. CAMeR-Bench에서 CAMeR의 키워드 게이트는 임베딩 전용 게이팅 대비 고빈도 메모리와 한 번도 참조되지 않은 메모리 간 유지 격차가 1.6$\times$ 더 크다(scissors gap: 0.039 vs. 0.024). 한편 시간 기반 베이스라인(Oblivion, SuperLocalMemory)은 100라운드 동안 거의 0에 가까운 가중치로 붕괴한다. CAMeR의 top-5 검색은 전체 컨텍스트 방식 대비 83.2\%의 토큰을 절약한다(누적 39k vs. 231k). 동시에 검색 정밀도를 향상시키는 가중치 신호를 생성한다. 8가지 ablation 조건을 통해, 학습 가능한 감쇠가 아닌 키워드 게이트가 이 규모에서 주요 성능 동력임을 확인한다. 결과는 하이브리드 기호-신경 게이팅이 LLM 에이전트의 적응형 메모리 유지를 위한 단순하면서도 효과적인 메커니즘을 제공함을 보여준다.
When does retention matter for memory-augmented LLM agents? We study this with TraceRetain, a lightweight framework for bounded external memory in frozen LLM agents that scores entries by interpretable features (success, age, access frequency, redundancy, specificity, similarity, downstream utility) and evicts the lowest-scoring ones at capacity. On clean ALFWorld with gpt-5-mini, external memory robustly improves over no memory across two seeds, but differences among bounded retention policies fall within Wilson 95% CIs: clean ALFWorld at T=100 to T=200 does not naturally exhibit the memory pollution retention is designed to address. Under a controlled noisy-write stress (75% synthetic distractors), unbounded memory and FIFO-K50 degrade on Precision@5 (20.2% to 12.4% and 15.8% to 3.8%) while TraceRetain-CEM is essentially unchanged (16.9% to 16.6%) and preserves 97/100 task success. The mechanism: unbounded memory has the highest mean similarity (0.87) but lowest precision, indicating failed distractors close to the query in embedding space. Held-out in-distribution evaluation shows memory-augmented policies solving 47 to 49 of 50 tasks vs. 39/50 for no memory. Bounded retention buys memory and step efficiency on saturated clean benchmarks at no task-success cost, and only differentiates from cache heuristics when streams contain noise.