arXiv:2610.07118v1 cs.AI

AMBER: 추가 전용 메모리를 통한 장기적 웹 에이전트 학습

AMBER: Training Long-Horizon Web Agents through Append-Only Memory

Chinmay Savadikar, Zhaoyu Zhang, Mingyu Zhao, Shuang Xie, Han Li, Tianfu Wu, Lingyun Wang

제출 2026-10-05

저자 비고

arXiv Comments

29 pages, 11 figures

한국어 초록

현대 언어 모델(LM) 에이전트는 장기적(long-horizon)이고 다단계로 이루어진 궤적을 거치며 외부 환경과 점점 더 많이 상호작용하고 있으며, 이 과정에서 누적된 상호작용 기록은 실용적인 컨텍스트 예산을 빠르게 초과할 수 있습니다. 신뢰성을 보장하기 위해 에이전트는 긴 주기에 걸쳐 사실 정보를 유지하고, 실행 오류 및 수정 피드백을 기억하며, 행동 전반의 진행 상황을 추적해야 합니다. 전체 실행 기록을 컨텍스트에 유지할 필요 없이 이를 달성하기 위해 추론 및 행동 기록 활용, 덮어쓰기(overwrite) 메커니즘을 통한 고정 크기 메모리 유지 학습, 주기적 요약 등 여러 접근 방식이 제안되었습니다. 원칙적으로 덮어쓰기 메모리는 추가 전용(append-only) 메모리가 보존할 수 있는 모든 것을 유지할 수 있지만, 이후의 모든 재작성 과정에서 각 사실을 계속 유지하도록 학습해야 하므로 희소한 결과 보상(sparse outcome rewards)으로부터 이를 학습하기는 어렵습니다. 웹 에이전트와 같은 상호작용형 애플리케이션의 경우, 학습된 덮어쓰기 메모리가 환경으로부터 받은 수정 피드백뿐만 아니라 궤적에 필요한 핵심 정보를 삭제한다는 점을 발견했습니다. 본 연구에서는 에이전트가 자유 형식 메모리를 추론, 행동 및 작성하는 법을 함께 학습하는 동시에 추가 전용 규칙을 통해 구조적으로 보존을 보장하는 단순하고 확장 가능한 프레임워크인 AMBER(Append-only Memory Bank for Evidence Retention)를 소개합니다. 이를 통해 AMBER는 광범위하게 정제된 SFT 데이터 없이도 결과 보상 기반의 강화학습(RL)을 통해 엔드투엔드로 학습될 수 있습니다. WebArena Lite에서 AMBER는 덮어쓰기 기반 메모리 대비 평균 성공률을 4.09%포인트 향상시키고, 5회 반복 실행에서 해결된 작업의 비율을 4.8%포인트 높였으며, 훨씬 더 많은 비용이 드는 정제된 지도학습으로 학습된 덮어쓰기 기준선(baseline)과 대등한 성능을 달성했습니다. AMBER는 실용적인 토큰 예산을 유지하면서 이러한 개선을 달성하여 컨텍스트 효율성, 작업 성능, 신뢰할 수 있는 장기적 실행 간의 강력한 균형을 제공합니다.

원문 초록

Modern language-model agents increasingly interact with external environments over long-horizon, multi-step trajectories, where the accumulated interaction history can quickly exceed practical context budgets. To ensure reliability, agents must maintain factual information over long horizons, remember execution errors and corrective feedback, and track progress across actions. Several approaches have been proposed to achieve this without the need for maintaining the entire execution history in context, such as using the reasoning and action history, learning to maintain a fixed-size memory through an overwrite mechanism, and periodic summarization. Although overwrite memory can in principle retain anything an append-only memory can, it must learn to carry each fact through every subsequent rewrite, which is difficult to learn from sparse outcome rewards; for interactive applications like web agents, we find that trained overwrite memories delete key information required by the trajectory, as well as corrective feedback received from the environment. We introduce AMBER (Append-only Memory Bank for Evidence Retention) - a simple and scalable framework where an agent jointly learns to reason, act, and write free-form memory, while an append-only rule guarantees retention by construction. This allows AMBER to be trained end-to-end with reinforcement learning from outcome rewards without the need for extensive curated SFT data. On WebArena Lite, AMBER improves average success over overwrite-based memory by 4.09 percentage points, increases the fraction of tasks solved in five repeated runs by 4.8 percentage points, and matches an overwrite baseline trained on substantially more expensive curated supervision. AMBER achieves these improvements while maintaining a practical token budget, providing a strong balance between context efficiency, task performance, and reliable long-horizon execution.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07118v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.