장기 체감 상호작용에서는 에이전트가 관찰하고 행동하며 변화를 겪는 동안 환경에 대한 정보를 유지하고 지속적으로 갱신해야 한다. 그러나 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪는다. 우리 분석은 이 한계를 네 가지 핵심 결함으로 추적한다: 미세한 시각 메모리의 취약함, 신뢰할 수 없는 동적 세계 상태(world-state) 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 과거 경험으로부터의 제한된 일반화. 그러나 기존 벤치마크는 장기 체감 상호작용 과정에서 이러한 메모리 역량을 직접 평가하지 않는다. 이 공백을 메우기 위해 우리는 네 가지 과업군에 걸친 2,554개의 상호작용 에피소드로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 제안한다. EMem-Bench는 에이전트가 상호작용 이력으로부터 메모리를 구축·갱신한 뒤, 이를 활용해 환경에서 행동함으로써 이후 과업을 완수하도록 요구한다. 또한 체감 경험을 공간, 사건, 장면 메모리로 구조화하는 외부 메모리 시스템 Embodied-Memorizer(EMem)를 제시한다. 또한 이러한 메모리를 관리하고 활용하는 8B 정책(policy) EMem-8B를 학습한다. 오픈소스 및 독점 MLLM과 대표적인 멀티모달 메모리 시스템을 폭넓게 평가한다. 결과는 현재 모델이 네 가지 과제 전반에 걸쳐 여전히 취약하고 불균형함을 보여준다. 동일 백본(backbone) 조건에서 EMem은 평가된 메모리 시스템 중 최고의 전체 성능을 달성하며 오픈소스와 독점 모델 모두를 개선하고, EMem-8B는 백본 대비 추가로 향상된다. 프로젝트 페이지: https://zju-omniai.github.io/EmbodiedMemoryBench/
장기 로봇 계획은 다음 행동이 무엇을 할지 예측하는 것 이상을 요구한다. 미래 목표를 해석 가능하게 만드는 체화된 경험의 기억도 필요하다. 사람들은 현재 장면만으로 계획하지 않는다. 기억된 장소, 객체 상태 변화, 이전 절차, 반복된 행동을 통해 드러난 규칙성에 의존한다. 우리는 체화된 행동 기억(Embodied Action Memory, EAM)을 이후 의사결정을 위한 지속적인 기억 상태로 이러한 경험을 형성·유지·활용하는 능력으로 공식화한다. MEMORA는 형성-통합-검색(formation-consolidation-retrieval) 수명 주기와 네 가지 유형의 저장소—Environment Memory, Entity Memory, Activity Memory, Inferred Knowledge—로 EAM을 구현한다. 온라인 편집은 새로운 관측이 들어올 때 객체 정체성과 상태 이력을 유지하며, 오프라인 통합은 반복된 경험을 재사용 가능한 절차와 참가자별 규칙성으로 추상화한다. MEMORA-Bench는 18명의 참가자에 걸친 EPIC-KITCHENS-100 확장 비디오 45시간에 대해 이 수명 주기를 평가하며, 이전에 보지 못한 목표를 포함한 기억 기반 계획과 보완적인 기억 평가 과제를 통해 이를 수행한다. 네 가지 오픈 웨이트(open-weight) 언어 모델에 걸쳐, 편집·유형별 저장소·통합을 결합한 완전한 MEMORA가 평가된 기억 조건 중 가장 강한 종합 결과를 달성한다. 가장 강한 통제 기준선 대비 기억 평가 정확도를 최대 20.5점 향상시키며, 분포 외(out-of-distribution) Robot-Grounded Plan 점수를 상대적으로 최대 16.6% 개선한다. 정성적인 두 과제 로봇 배치 연구는 기억 기반 언어 계획이 하위 제어와 어떻게 연결될 수 있는지를 추가로 보여 주며, 전체 결과는 편집 가능하고 통합된 기억이 로봇 계획을 위한 기억된 컨텍스트를 제공할 수 있음을 보여준다. 프로젝트 페이지: https://yuzihaowashu.github.io/MEMORA/