arXiv:2610.10778v1 cs.LG

MemoWM: 월드 모델이 에이전트가 기억해야 할 대상을 어떻게 변화시키는가

MemoWM: How World Models Change What Agents Need to Remember

Bingfan Zeng, Zhisheng Chen, Chenbo Sang, Zhengwei Xie, Jinpeng Wang, Xiangchen Guan, Rui Qian, Zheng Lu, Jingwei Song

제출 2026-10-07

한국어 초록

장기 에이전트(agent)는 경험이 축적됨에 따라 증가하는 스토리지 요구량 문제에 직면합니다. 월드 모델(world model)은 각 경험마다 저장해야 하는 정보량을 줄일 수 있는 재사용 가능한 규칙성을 포착합니다. 본 논문에서는 월드 모델에 조건화된 메모리 할당 문제를 공식화하고, 공유된 예측을 활용하여 보존되는 정보를 압축하고 생략된 콘텐츠를 재구성하는 프레임워크인 MemoWM을 제안합니다. MemoWM의 작업 인식(task-aware) 할당 규칙은 재구성 오류의 예상 영향과 스토리지 비용 간의 균형을 맞추어, 예측 사전 확률(predictive prior)을 넘어서는 다운스트림 가치를 지닌 정보를 보존합니다. 5개의 장기 에이전트 메모리 벤치마크(benchmark)에서 MemoWM은 평균 42.42%의 정답 정확도를 달성하여 가장 강력한 기준선(baseline)을 2.62% 포인트 앞섰으며, 스토리지 효율성이 가장 높은 기준선인 MIRIX 대비 평균 경험별 스토리지 사용량을 53.9% 줄였습니다. 추가 분석에 따르면 더 강력한 월드 모델일수록 유사한 작업 품질에서 경험당 스토리지 요구량을 감소시키는 것으로 나타났습니다. 모델 파라미터를 고려했을 때 공유 모델 용량과 반복적인 스토리지 비용 사이의 절충 관계가 드러나며, 더 많은 상호작용이 유지될수록 전체 스토리지를 최소화하는 용량 또한 증가합니다. 코드는 https://github.com/Feld-maxiu/MemoWM 에서 확인할 수 있습니다.

원문 초록

Long-term agents face growing storage demands as they accumulate experience. World models capture reusable regularities that can reduce the information stored for each experience. We formulate the problem of memory allocation conditioned on a world model and introduce MemoWM, a framework that uses shared predictions to compress retained information and reconstruct omitted content. Its task-aware allocation rule balances the expected impact of reconstruction errors against storage cost, retaining information with downstream value beyond the predictive prior. Across five long-term agent-memory benchmarks, MemoWM achieves 42.42\% average answer accuracy, exceeding the strongest baseline by 2.62 percentage points, while reducing average experience-specific storage by 53.9\% relative to MIRIX, the most storage-efficient baseline. Further analysis shows that stronger world models reduce per-experience storage at comparable task quality. Accounting for model parameters reveals a trade-off between shared model capacity and recurring storage costs, with the capacity that minimizes total storage increasing as more interactions are retained. Our code is available at https://github.com/Feld-maxiu/MemoWM.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10778v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13504v1cs.LG공통 태그 world models

시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델

Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.

arXiv:2610.13912v1cs.CL공통 태그 world models

RSI-Anything: 월드 모델(World Model)을 통한 재귀적 자기개선의 실현

RSI-Anything: Unlocking Recursive Self-Improvement with World Models

재귀적 자기개선(Recursive Self-Improvement, RSI)은 상호작용 경험을 지속적인 개선으로 전환하는 것을 목표로 하지만, 외부 피드백은 비용이 많이 들고 정책(policy)이 진화함에 따라 월드 모델(world model)의 예측이 신뢰할 수 없게 될 수 있다. 우리는 JEPA-Anything을 기반으로 구축된 도메인 범용(domain-general) 프레임워크인 RSI-Anything을 소개하며, 이는 예측적 월드 모델을 사용하여 행동 및 학습 데이터 선택을 안내한다. 관찰된 피드백은 정책 또는 워크플로우 개선과 조건부 월드 모델 적응(adaptation)을 이끌며, 구성요소 및 호환성 검사가 업데이트된 정책-모델 쌍의 유지 여부를 결정한다. 다양한 계산 및 과학 도메인에서 RSI-Anything은 상당한 성능 향상을 보여준다. 코드 수정(code repair) 과제에서, 코더(coder)를 고정한 상태로 성공률은 정적 검증기(static verifier)를 사용할 때 26.3%였으나, 예측적 선택(predictive selection)을 통해 29.2%로, 월드 모델 적응 이후에는 31.2%로 증가했으며, 이는 비슷한 테스트 사용량에서 달성되었다. 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 평가에서는 과제 완료율이 더 높아졌으며, 평균 행동 수는 39.4% 감소했다. 연속된 5개의 정책 버전에 걸쳐, 실험실 계획(laboratory-planning) 점수는 21.80%에서 46.01%로 두 배 이상 증가했다. 반응 최적화(reaction optimization)에서, RSI-Anything은 동일한 40회 실험 예산 하에서 평균 최고 관측 수율(mean best observed yield) 96.15%를 달성했으며, 이는 베이지안 최적화(Bayesian optimization)의 82.16%와 대비된다. 더 나아가, 엔드투엔드(end-to-end) 면역학(immune-science) 응용에서는 워크플로우 진화와 예측 모델링을 치료적 가설 생성(therapeutic hypothesis generation)과 연결한다. 이러한 결과는 예측적 월드 모델과 유지된 시스템 업데이트가 다양한 환경에서 재귀적 개선을 가능하게 하는 방식을 보여준다.

arXiv:2605.11814v2cs.AI공통 태그 agent memory

MedMemoryBench: 개인화된 헬스케어 환경에서의 에이전트 메모리 벤치마킹

MedMemoryBench: Benchmarking Agent Memory in Personalized Healthcare

개인화된 헬스케어 에이전트(agent)의 대규모 배포에는 극도로 정밀하고 안전하며 장기적인 임상 추적이 가능한 메모리 메커니즘이 요구됩니다. 그러나 기존 벤치마크는 주로 일상적인 오픈 도메인 대화에 초점을 맞추고 있어, 실제 의료 응용 분야의 중대한 복잡성을 포착하지 못합니다. 수천만 명의 활성 사용자에게 서비스를 제공하는 업계 최고 수준의 건강 관리 에이전트의 엄격한 프로덕션 요구사항에 착안하여, 본 논문에서는 MedMemoryBench를 소개합니다. 저자들은 임상적 근거를 갖춘 합성 환자 아키타입(archetype)을 기반으로 고도로 사실적이며 장기적인 의료 궤적을 합성하는 인간-에이전트 협업 파이프라인을 개발했습니다. 이 과정을 통해 약 2,000개의 세션과 16,000회의 상호작용 턴(turn)으로 구성되고 전문가 검증을 거친 대규모 데이터셋(dataset)을 구축했습니다. 특히 MedMemoryBench는 프로덕션 환경에서의 동적 메모리 축적을 정밀하게 반영하는 '생성 중 평가(evaluate-while-constructing)' 스트리밍 평가 프로토콜을 선도적으로 도입하여 전통적인 정적 평가 방식에서 벗어났습니다. 또한, 지속적인 정보 유입이 검색 및 추론 강건성을 저하시키는 중대한 현상인 메모리 포화(memory saturation)를 공식화하고 체계적으로 조사합니다. 포괄적인 벤치마킹 결과, 특히 복잡한 의료 추론과 노이즈 복원력 측면에서 주류 아키텍처들의 심각한 병목 현상이 드러났습니다. MedMemoryBench는 이러한 근본적인 결함을 밝혀냄으로써 견고하고 프로덕션에 즉시 적용 가능한 의료 에이전트를 개발하기 위한 중요한 토대를 마련합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.