arXiv:2604.21686v2 cs.CV

WorldMark: 상호작용형 비디오 월드 모델을 위한 통합 벤치마크 스위트

WorldMark: A Unified Benchmark Suite for Interactive Video World Models

Xiaojie Xu, Zhengyuan Lin, Kang He, Yukang Feng, Xiaofeng Mao, Yuanyang Yin, Yongtao Ge, Kaipeng Zhang

제출 2026-04-23

한국어 초록

텍스트나 이미지 기반 비디오 생성과 달리, 상호작용형 월드 모델은 행동에 의해 구동됩니다. 즉, 사용자가 행동하면 월드가 이에 반응합니다. 공정하고 종합적인 평가를 가로막는 두 가지 장애물이 있습니다. 첫째, 모델마다 캡션, 카메라 궤적, 행동 함수 등 호환되지 않는 형식으로 행동을 받아들이기 때문에 공유된 프로토콜이 확립되지 않았습니다. 둘째, 기존 벤치마크들이 월드 메모리와 시각적 품질 측면에서 발전을 이루었지만, 행동 추종은 궤적이나 방향 오차로 축소되어 전체 경로를 단 하나의 숫자로 단순화합니다. 이는 명령 전환에 월드가 얼마나 빠르게 반응하는지, 또는 명령받은 축을 따라 얼마나 깔끔하게 움직이는지를 보여주지 못합니다. WorldMark는 이 두 장애물을 모두 해결합니다. 모델별 어댑터가 공유된 WASD 스타일의 어휘를 각 모델 고유의 제어 형식으로 변환하므로, 10개의 서로 다른 모델이 스타일, 시점, 난이도 등급을 아우르는 500개의 표준화된 사례 전반에서 의미론적으로 동일한 지침을 받게 되며, 새로운 모델을 추가하는 데에는 어댑터 하나만 필요합니다. 이러한 공통 기반 위에서 본 논문은 월드 메모리 및 시각적 품질 평가 스위트와 함께, 축별로 분석되는 방향 정확도, 방향 순도, 반응 지연 시간, 모션 안정성 등 제어 시스템 관점에서 행동 역학을 특성화합니다. 이를 종합하면 기존 프로토콜로는 확인할 수 없었던 차이점들이 드러납니다. 가장 빠르게 반응하는 모델이 가장 불안정한 경우가 많아 단일 행동 지표로는 포착할 수 없는 트레이드오프가 존재하며, 축별 분석을 통해 회전에는 거의 반응하지 못하면서 이동은 거의 완벽하게 추종하는 모델들이 밝혀집니다. 또한 지각 및 미적 품질이 가장 우수한 모델이 이동 방향 정확도와 지연 시간에서는 최하위를 기록하며, 양식화된 장면에서는 모든 모델의 전역 일관성이 저하되지만 행동 역학은 대체로 온전히 유지됩니다. 저자들은 모든 데이터, 평가 코드 및 모델 출력 결과를 공개할 예정입니다.

원문 초록

Unlike text- or image-driven video generation, an interactive world model is driven by actions: the user acts, and the world responds. Two obstacles stand in the way of fair and comprehensive evaluation. First, models take actions in incompatible formats---captions, camera trajectories, action functions---so no shared protocol has been established. Second, while existing benchmarks have advanced world memory and visual quality, action following is reduced to trajectory or direction error, which collapses a whole path into one number: not how quickly the world reacts to a command switch, nor how cleanly it moves along the commanded axis. WorldMark removes both obstacles. Per-model adapters translate a shared WASD-style vocabulary into each model's native control format, so ten heterogeneous models receive semantically identical instructions across 500 standardized cases spanning styles, viewpoints, and difficulty tiers; a new model costs one adapter. On this common ground we characterize action dynamics through a control-systems lens---direction accuracy, direction purity, response latency, and motion stability, each resolved per axis---alongside suites for world memory and visual quality. Together they expose differences existing protocols cannot see: the fastest responders are often the least stable, a trade-off no single action metric captures; per-axis resolution reveals models that follow translation almost perfectly while barely responding to rotation; the model with the best perceptual and aesthetic quality ranks last in translational direction accuracy and latency; and stylized scenes cost every model global consistency while leaving action dynamics largely intact. We will release all data, evaluation code, and model outputs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.21686v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.