arXiv:2609.28236v1 cs.CV

EmbodiedMemory-Bench: 장기 체감 과업을 위한 체감 메모리 벤치마킹

EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks

Lizhou Liang, Xinyu Zhong, Miao Pan, Xiaohe Zhou, Xuanyu Liu, Qinfeng Li, Peng Li, Jintao Chen, Xuhong Zhang, Wenqi Zhang

제출 2026-09-24

한국어 초록

장기 체감 상호작용에서는 에이전트가 관찰하고 행동하며 변화를 겪는 동안 환경에 대한 정보를 유지하고 지속적으로 갱신해야 한다. 그러나 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪는다. 우리 분석은 이 한계를 네 가지 핵심 결함으로 추적한다: 미세한 시각 메모리의 취약함, 신뢰할 수 없는 동적 세계 상태(world-state) 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 과거 경험으로부터의 제한된 일반화. 그러나 기존 벤치마크는 장기 체감 상호작용 과정에서 이러한 메모리 역량을 직접 평가하지 않는다. 이 공백을 메우기 위해 우리는 네 가지 과업군에 걸친 2,554개의 상호작용 에피소드로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 제안한다. EMem-Bench는 에이전트가 상호작용 이력으로부터 메모리를 구축·갱신한 뒤, 이를 활용해 환경에서 행동함으로써 이후 과업을 완수하도록 요구한다. 또한 체감 경험을 공간, 사건, 장면 메모리로 구조화하는 외부 메모리 시스템 Embodied-Memorizer(EMem)를 제시한다. 또한 이러한 메모리를 관리하고 활용하는 8B 정책(policy) EMem-8B를 학습한다. 오픈소스 및 독점 MLLM과 대표적인 멀티모달 메모리 시스템을 폭넓게 평가한다. 결과는 현재 모델이 네 가지 과제 전반에 걸쳐 여전히 취약하고 불균형함을 보여준다. 동일 백본(backbone) 조건에서 EMem은 평가된 메모리 시스템 중 최고의 전체 성능을 달성하며 오픈소스와 독점 모델 모두를 개선하고, EMem-8B는 백본 대비 추가로 향상된다. 프로젝트 페이지: https://zju-omniai.github.io/EmbodiedMemoryBench/

원문 초록

Long-horizon embodied interaction requires agents to retain and continually update information about the environment as they observe, act, and encounter change. Yet current agents struggle to maintain such memory reliably. Our analysis traces this limitation to four key deficiencies: weak fine-grained visual memory, unreliable dynamic world-state tracking, failing to record world state revealed by interaction outcomes, and limited generalization from prior experience. However, existing benchmarks do not directly assess these memory capabilities during long-horizon embodied interaction. To address this gap, we introduce EmbodiedMemory-Bench (EMem-Bench), comprising 2,554 interactive episodes across four task families. EMem-Bench requires agents to build and update memory from interaction history, then use it to complete a later task by acting in the environment. We further present Embodied-Memorizer (EMem), an external memory system that organizes embodied experience into spatial, event, and scene memories. We also train EMem-8B, an 8B policy that manages and uses these memories. We evaluate a diverse range of open-source and proprietary MLLMs and representative multimodal memory systems. Results show that current models remain weak and uneven across the four challenges. Under matched backbones, EMem achieves the best overall performance among the evaluated memory systems and improves both open-source and proprietary models, while EMem-8B further improves over its backbone. Project page: https://zju-omniai.github.io/EmbodiedMemoryBench/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28236v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Sequential Decision Making

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15956v1cs.AI공통 태그 Navigate, Benchmarking

ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.

arXiv:2610.15993v1cs.AI공통 태그 Benchmarking, Sequential Decision Making

핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃

Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing

본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.

arXiv:2610.13494v1cs.AI공통 태그 Benchmarking, Sequential Decision Making

Humanize MLE 에이전트: 단일 에이전트 한계를 넘어서는 다중 에이전트 세션 교대

Humanize MLE Agents: Multi-Agent Session Alternation Beyond Single-Agent Limits

장기 시계(long-horizon) 머신러닝 엔지니어링(MLE)을 위한 기존 LLM 기반 에이전트 접근법들은 흔히 컨텍스트 엔지니어링을 사용하며, 이는 도구, 스킬, 축적된 경험을 관리하는 커스텀 하니스(harness)를 통해 구현된다. 그러나 우리는 단일 세션 실행이 길어질수록 에이전트의 추론 강도가 저하되며 진행 속도가 느려진다는 것을 발견했으며, 이를 장기 시계 둔화(long-horizon deceleration)라고 요약한다. 또한 기반 모델이 개선됨에 따라 이러한 커스텀 하니스의 이점이 사라진다는 것을 발견했으며, 이를 하니스 노후화(harness staleness)라고 요약한다. 이러한 발견은 이러한 이점이 버전 간에 지속되지 않을 수 있음을 시사하며, 이는 에이전트들이 세션에 걸쳐 서로의 작업을 기반으로 발전시키는 워크플로우 수준의 접근법을 동기화한다. 우리는 이러한 교대하는 에이전트 세션을 컨텍스트 재설정 준-마르코프 결정 과정(context-reset semi-Markov decision process, CR-SMDP)으로 모델링하고, 교대가 단일 에이전트 기준선 한계를 초과하기 위한 충분 조건을 수립하며, 명시적인 실험 예산 경계를 도출하고, 세션 상한이 이러한 이점을 보존하는 시점을 규명한다. 이러한 분석에 따라, 우리는 Humanize MLE 에이전트(HMA)를 소개한다. HMA는 공유 작업공간에서 두 에이전트를 교대시키며, 각 세션을 최대 k개의 실험으로 제한하고 세션 간 컨텍스트를 재설정하며, 추가적인 태스크별 하니스나 사전 지식 보강 없이 동작한다. MLE-bench의 75개 캐글(Kaggle) 과제에서 HMA는 78.2%의 최신(state-of-the-art) any-medal 비율을 달성하며, 가장 강력한 오픈소스 기준선을 8.0포인트 상회하면서도 그 시간 예산의 4분의 1만을 사용한다. 또한 다섯 개의 이질적인 에이전트 쌍에 걸친 여섯 가지 구성 중에서, HMA는 구성 요소 기준선들에 비해 any-medal 비율을 평균 6.4포인트 향상시켜, 에이전트 쌍 간 일반성을 입증한다. 커널(kernel) 최적화에 대한 보충 사례에서는 878 사이클에 도달하여 커뮤니티 리더보드 선두와 1.6% 이내의 차이를 보이며, MLE를 넘어선 적용 가능성을 입증한다.

arXiv:2610.13534v1cs.AI공통 태그 Benchmarking, Sequential Decision Making

MAGMA-Bench: 동적 태스크 및 실행 실패 환경에서의 장기 임바디드 에이전트 평가

MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures

장기(long-horizon) 임바디드 에이전트(embodied agent)는 실행이 진행됨에 따라 태스크 관련 정보를 유지하고, 이종 로봇들을 조율하며, 의사결정을 적응적으로 변경할 수 있어야 합니다. 기존 벤치마크는 동적 태스크 실행 및 임바디드 멀티 에이전트 조율을 조사하지만, 둘의 교차점에 대한 평가는 제한적입니다. 본 연구에서는 동적 멀티 로봇 환경에서의 지속적 태스크 추론을 위한 아키텍처 비종속적 벤치마크인 MAGMA-Bench를 소개합니다. MAGMA-Bench는 이종 역량을 가진 로봇 간의 조율이 필요한 시나리오와 함께, 실행 실패, 태스크 중단, 미션 업데이트를 포함한 통제된 온라인 섭동(online perturbation) 및 늘어나는 태스크 범위에 걸쳐 에이전트를 평가합니다. 본 벤치마크는 구조화된 스킬 수준 인터페이스를 활용하여 태스크 수준 추론을 인지 및 저수준 제어로부터 분리합니다. 저자들은 로컬 배포가 가능한 오픈 가중치 플래너, 멀티 에이전트 상태 추적 전략, 그리고 프론티어 모델들을 평가합니다. 평가된 가장 강력한 모델조차도 섭동이 없는 에피소드의 상당 부분에서 실패하며, 온라인 섭동 하에서는 성공률이 더욱 감소합니다. 지도 적응(supervised adaptation)은 소형 모델의 성능을 크게 향상시키지만, 더 길고 다중 로봇이 관여하는 미션에서는 성능이 여전히 크게 낮게 유지됩니다. 저자들은 벤치마크, 261,646개의 태스크 수준 학습 예제, 그리고 아키텍처 비종속적 전문가 궤적 생성 파이프라인을 공개합니다.

arXiv:2610.13790v1cs.CV공통 태그 Benchmarking, Scene Understanding

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.