shopify.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.07118v1cs.AI

AMBER: 추가 전용 메모리를 통한 장기적 웹 에이전트 학습

AMBER: Training Long-Horizon Web Agents through Append-Only Memory

현대 언어 모델(LM) 에이전트는 장기적(long-horizon)이고 다단계로 이루어진 궤적을 거치며 외부 환경과 점점 더 많이 상호작용하고 있으며, 이 과정에서 누적된 상호작용 기록은 실용적인 컨텍스트 예산을 빠르게 초과할 수 있습니다. 신뢰성을 보장하기 위해 에이전트는 긴 주기에 걸쳐 사실 정보를 유지하고, 실행 오류 및 수정 피드백을 기억하며, 행동 전반의 진행 상황을 추적해야 합니다. 전체 실행 기록을 컨텍스트에 유지할 필요 없이 이를 달성하기 위해 추론 및 행동 기록 활용, 덮어쓰기(overwrite) 메커니즘을 통한 고정 크기 메모리 유지 학습, 주기적 요약 등 여러 접근 방식이 제안되었습니다. 원칙적으로 덮어쓰기 메모리는 추가 전용(append-only) 메모리가 보존할 수 있는 모든 것을 유지할 수 있지만, 이후의 모든 재작성 과정에서 각 사실을 계속 유지하도록 학습해야 하므로 희소한 결과 보상(sparse outcome rewards)으로부터 이를 학습하기는 어렵습니다. 웹 에이전트와 같은 상호작용형 애플리케이션의 경우, 학습된 덮어쓰기 메모리가 환경으로부터 받은 수정 피드백뿐만 아니라 궤적에 필요한 핵심 정보를 삭제한다는 점을 발견했습니다. 본 연구에서는 에이전트가 자유 형식 메모리를 추론, 행동 및 작성하는 법을 함께 학습하는 동시에 추가 전용 규칙을 통해 구조적으로 보존을 보장하는 단순하고 확장 가능한 프레임워크인 AMBER(Append-only Memory Bank for Evidence Retention)를 소개합니다. 이를 통해 AMBER는 광범위하게 정제된 SFT 데이터 없이도 결과 보상 기반의 강화학습(RL)을 통해 엔드투엔드로 학습될 수 있습니다. WebArena Lite에서 AMBER는 덮어쓰기 기반 메모리 대비 평균 성공률을 4.09%포인트 향상시키고, 5회 반복 실행에서 해결된 작업의 비율을 4.8%포인트 높였으며, 훨씬 더 많은 비용이 드는 정제된 지도학습으로 학습된 덮어쓰기 기준선(baseline)과 대등한 성능을 달성했습니다. AMBER는 실용적인 토큰 예산을 유지하면서 이러한 개선을 달성하여 컨텍스트 효율성, 작업 성능, 신뢰할 수 있는 장기적 실행 간의 강력한 균형을 제공합니다.

arXiv:2606.18668v1cs.MA

EARS: 대규모 다중 에이전트 시스템에서 신뢰할 수 있는 하위 에이전트 모델링을 위한 설명적 거절

EARS: Explanatory Abstention for Reliable Sub-Agent Modeling in Large-scale Multi-Agent Systems

대규모 다중 에이전트 시스템(MAS)에서 소규모 파인튜닝 하위 에이전트가 모호하거나 지원되지 않는 요청에 과도하게 답해 환각을 내는 문제를 해결하기 위해, EARS는 거절(abstention)을 코디네이터가 재라우팅·명확화·폴백(fallback)에 활용할 수 있는 설명적 실패 신호로 재정의하고, 보정된 LLM-as-a-Judge 앙상블로 큐레이션한 데이터로 하위 에이전트를 파인튜닝한다. 실무 전자상거래 BI 어시스턴트 평가에서 전체 응답 통과율이 68.5%에서 78.9%로 향상되어 하위 에이전트 측 설명적 거절이 MAS 신뢰성을 개선함을 보였다.