arXiv:2610.18826v5 cs.RO

WorldOracle: 실제 세계 실행 결과에 대한 행동 조건부 월드 모델 벤치마킹

WorldOracle: Benchmarking Action-Conditioned World Models against Real-World Executions

Haoyi Duan, Liliang Chen, Nan Wang, Yang Zhang, Yuhang Lu, Xiaotong Chen, Wei-Cheng Tseng, Shenyuan Gao, Zhaoshuo Li, Jingyi Jin, Pooya Jannaty, Dhruv Shah, Yuke Zhu, Ming-Yu Liu, Maoqing Yao 외 1명

제출 2026-11-17

한국어 초록

본 논문은 쌍을 이루는 실제 세계 실행 결과에 대해 행동 조건부 월드 모델(action-conditioned world models, ACWM)을 평가하도록 특별히 설계된 벤치마크인 WorldOracle을 소개한다. 동일한 초기 관측과 저수준 행동 시퀀스가 주어졌을 때, WorldOracle은 예측된 롤아웃이 물리적 결과와 과제 상태 전이를 포함하여 실제 세계에서 일어나는 일을 재현하는지를 묻는다. 모델은 물리 상태 정확성, 상호작용 공간 정렬, 핵심 상호작용 영역 충실도, 다중 뷰 행동 일관성이라는 상호 보완적인 네 가지 차원에서 평가된다. 이 평가를 지원하기 위해 서로 다른 상호작용 동역학과 형태(embodiment)를 아우르는 실제 세계 학습 및 평가 세트를 구축하였다. 평가 세트는 성공과 실패 실행을 모두 포함하는 긴 다중 구간 에피소드로 구성되어, 다양한 행동 결과와 행동 분포에 걸친 평가를 가능하게 한다. 대표적인 ACWM 7종에 대한 실험은 모델별로 뚜렷한 강점과 실패 양상을 드러낸다. WorldOracle은 조작(manipulation)을 위한 행동 조건부 월드 모델링을 측정하고 발전시키기 위한 체계적인 기반을 제공한다. 데이터셋, 평가 코드, 리더보드를 https://worldoracle-benchmark.github.io/ 에 공개한다.

원문 초록

We introduce WorldOracle, a benchmark specifically designed to evaluate action-conditioned world models (ACWMs) against paired real-world executions. Given the same initial observation and low-level action sequence, WorldOracle asks whether a predicted rollout reproduces what happens in the real world, including physical consequences and task-state transitions. We evaluate models along four complementary dimensions: physical state correctness, interaction spatial alignment, key interaction area fidelity, and multi-view action coherence. To support this evaluation, we curate real-world training and evaluation suites that cover different interaction dynamics and embodiments. The evaluation suite contains long, multi-segment episodes with both successful and failed executions, enabling evaluation across varied action outcomes and behavior distributions. Experiments on seven representative ACWMs reveal distinct model strengths and failure modes. WorldOracle provides a systematic foundation for measuring and advancing action-conditioned world modeling for manipulation. We release the datasets, evaluation code, and leaderboard: https://worldoracle-benchmark.github.io/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.18826v5제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.