arXiv:2610.08791v1 cs.CV

물리학에서의 월드 모델 최종 시험

World Models' Last Exam in Physics

Mingju Gao, Qingle Liu, Yuzhao Peng, Xinjie Lin, Ziming Qin, Zheng Jiang, Wenyi Li, Calvin Xiao, Youjie Zheng, Kaisen Yang, Qinhuai Na

제출 2026-10-06

한국어 초록

비디오 월드 모델은 시각적으로는 그럴듯하지만 물리적으로는 일관성이 없는 시퀀스를 생성할 수 있어, 임바디드 AI 시스템에서의 예측 및 계획을 위한 신뢰성에 우려를 제기한다. 기존 평가는 흔히 모델 기반 판단이나 참조 비디오에 의존하며, 직접적인 물리 테스트는 대체로 역학(mechanics)에 초점을 맞춰왔다. 우리는 비디오 월드 모델의 물리적 일관성을 평가하기 위한 측정 기반 벤치마크인 World Models' Last Exam in Physics를 소개한다. 이 벤치마크는 역학, 광학, 유체, 열 및 상전이 현상, 전자기학, 표면 장력에 걸친 40개의 통제된 과제(task)로 구성된다. 각 과제는 초기 이미지와 생성 프롬프트를 사전에 정의된 물리적 기준과 짝지어, 참조 비디오 없이도 관측 가능한 물리적 관계에 대한 해석 가능한 테스트를 가능하게 한다. 평가자는 과제 관측 가능성(task-observability) 선별과 과제별 정량적 물리 측정을 결합한다. 8개의 비디오 생성 모델에 대해 1,280개의 비디오를 대상으로 한 실험에서 지속적인 물리적 불일치와 과제 간 상당한 편차가 드러났으며, 최고 성능 모델은 100점 만점에 57.76점의 전체 점수를 달성했다. 알려진 물리적 관계를 가진 합성 비디오에 대한 평가는 통제된 조건 하에서 측정 모듈의 타당성에 대한 근거를 제공한다. 또한 이 평가자는 과제 내 순위 매기기와 쌍별 비교 모두에서 직접적인 비전-언어 모델 기준선(baseline)보다 인간 판단과 더 높은 일치도를 달성한다. 물리적 영역 전반에 걸친 커버리지와 측정 가능한 증거 및 명시적인 측정 한계에 근거한 점수를 결합함으로써, 이 벤치마크는 물리적 불일치를 진단하고 물리적으로 일관된 비디오 월드 모델을 향한 발전을 추적하기 위한 해석 가능한 기반을 제공한다.

원문 초록

Video world models can produce visually convincing yet physically inconsistent sequences, raising concerns about their reliability for prediction and planning in embodied AI systems. Existing evaluations often rely on model-based judgments or reference videos, while direct physical tests largely focus on mechanics. We introduce World Models' Last Exam in Physics, a measurement-based benchmark for evaluating physical consistency in video world models. The benchmark comprises 40 controlled tasks spanning mechanics, optics, fluids, thermal and phase-change phenomena, electromagnetism, and surface tension. Each task pairs an initial image and a generation prompt with predefined physical criteria, enabling interpretable tests of observable physical relationships without requiring reference videos. Its evaluator combines task-observability screening with task-specific quantitative physical measurements. Experiments on eight video generation models across 1,280 videos reveal persistent physical inconsistencies and substantial variation across tasks, with the best model achieving an overall score of 57.76 out of 100. Evaluation on synthetic videos with known physical relationships provides evidence for the validity of the measurement module under controlled conditions. The evaluator also achieves higher agreement with human judgments than a direct vision-language model baseline in both within-task rankings and pairwise comparisons. By combining coverage across physical domains with scores grounded in measurable evidence and explicit measurement limitations, the benchmark provides an interpretable basis for diagnosing physical inconsistencies and tracking progress toward physically consistent video world models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08791v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.