Embodied Graph: 장기 과제를 위한 관계형 세계 모델
Embodied Graph: A Relational World Model for Long-Horizon Tasks
한국어 초록
임바디드 및 웹 환경의 장기 과제는 긴 의사결정 시퀀스와 지연된 피드백을 수반하므로, 정확한 계획이 성공에 결정적이다. 세계 모델은 상상 기반 계획을 위해 잠재 동역학을 학습함으로써 이 문제에 대응한다. 그러나 기존 접근법은 밀집된 픽셀 수준 관측에만 의존하여, 모델이 중복 정보를 받아들이게 하고 과제와 관련된 개체 간의 관계를 간과하게 한다. 그 결과 작은 오차가 긴 상상 롤아웃에 걸쳐 누적되어 예측을 점차 훼손할 수 있다. 본 논문에서는 희소한 상태 추상 위에서 상상하는 세계 모델을 탐구하며, 여기에는 두 가지 핵심 과제가 있다. 1) 중복 정보를 제거하고 간결한 상태 추상을 형성하는 방법, 2) 관계 구조를 반영하여 신뢰할 수 있는 장기 동역학을 학습하는 방법이다. 이를 해결하기 위해 구조화된 동역학 모델링과 장기 상상을 지원하는 관계형 상태 추상인 Embodied Graph와, 그래프 상태 위에서 직접 상상을 수행하는 Relational World Model(RWM)을 제안한다. RWM은 (i) 중복된 세부 정보를 걸러 내고 온라인 갱신을 통해 그래프 메모리를 유지하는 Task-Aware Embodied Graph Constructor와, (ii) 노드별 잠재 동역학을 학습하면서 노드 간 의존성을 포착하는 Embodied Graph Recurrent State Space Model로 구성된다. 상상된 그래프 상태는 행동 결과에 대한 예측을 제공하여 의사결정을 안내한다. Minecraft와 Crafter에서의 실험은 임바디드 환경에서 RWM의 효과를 입증한다. 특히 Minecraft에서 RWM은 주어진 예산 내에 다이아몬드를 획득한 유일한 방법이다. 웹 상호작용 실험은 관계형 상태 예측이 웹 에이전트의 의사결정 과정에도 적용 가능함을 추가로 보여 준다.
원문 초록
Long-horizon tasks in embodied and web environments involve extended decision sequences and delayed feedback, making accurate planning crucial for success. World models tackle this by learning latent dynamics for imagination-based planning. However, existing approaches merely rely on dense pixel-level observations, which forces the model to absorb redundant information while overlooking relations among task-relevant entities. Consequently, small errors may accumulate over long imagined rollouts and gradually corrupt the predictions. In this paper, we explore world models that imagine over sparse state abstractions, which poses two key challenges: 1) how to remove redundant information and form a compact state abstraction; 2) how to incorporate the relational structure to learn reliable long-horizon dynamics. To address these challenges, we propose Embodied Graph, a relational state abstraction that supports structured dynamics modeling and long-horizon imagination, and the Relational World Model (RWM), which performs imagination directly over graph states. RWM consists of (i) a Task-Aware Embodied Graph Constructor that filters redundant details and maintains graph memory through online updates, and (ii) an Embodied Graph Recurrent State Space Model that learns node-wise latent dynamics while capturing inter-node dependencies. The imagined graph states provide predictions of action consequences to guide decision-making. Experiments on Minecraft and Crafter demonstrate the effectiveness of RWM in embodied environments. Notably, in Minecraft, RWM is the only method that obtains diamonds within the given budget. Experiments on web interaction further illustrate the applicability of relational state prediction to the decision making process of web agents.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24115v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.