arXiv:2611.15082v1 cs.CV

예측인가 지속인가? 미래 예측 점수가 놓치는 월드 모델의 실체

Prediction or Persistence? What Future-Prediction Scores Miss About World Models

Animesh Maheshwari

제출 2026-11-11

저자 비고

arXiv Comments

Accepted at the CoRL 2026 Workshop "Do Robots Need World Models?"

한국어 초록

사전학습된 비디오 월드 모델은 로봇 학습의 구성 요소로서 대체로 미래 예측 점수에 의해 비교·선택된다. 그러나 이러한 점수는 인코더의 품질, 가까운 미래가 최근 과거와 닮은 정도, 그리고 예측기 자체의 기여가 뒤섞여 있으므로 그것만으로는 예측의 증거로 해석될 수 없다. 우리는 짝지은 통제 실험으로 이 세 요소를 분리한다. 가정 내 1인칭 비디오에서 추출한 27,000건의 미래 검색 시행에서, 모델은 동일 비디오의 후보 11개(우연 수준 0.091) 중에서 클립의 실제 후속 구간을 골라야 하며, 후보는 모델 자체의 학습 기준에 따라 제로샷으로 순위가 매겨진다. 각 모델은 지속(persistence) 통제와 짝지어지는데, 이는 예측기를 한 번도 호출하지 않는 동일한 사본이므로 두 모델의 차이는 예측기의 기여만을 분리해 낸다. 점수와 기여는 네이티브 비디오 V-JEPA 계열 내에서만도 서로 분리된다. 동일한 시행에서 예측기는 V-JEPA 2.1에서는 top-1을 +0.291 높이지만 V-JEPA 2에서는 +0.03에서 +0.04만 높인다. 다섯 개 모델 전반에서 기여는 +0.291에서 음수까지 분포하며, 음수인 경우는 학습 범위 밖에서 평가한 두 행동 조건부 모델뿐이다. 지속 통제만으로도 사전학습에서 기대되는 인코더 순서가 복원되는데, 이는 이 프로브가 실제 신호를 추적한다는 징후이다. 우리는 각 미래 예측 점수를 지속 기준선과 함께 보고할 것을 제안한다. 숫자를 해석 가능하게 만드는 것은 점수가 아니라 둘 사이의 격차이며, 이는 한 번의 순전파 비용만으로 수행할 수 있는 필수 점검이다. 하위 작업에서의 유용성을 입증하는 일은 계획 또는 제어 평가가 다룰 별개의 문제이다.

원문 초록

Pretrained video world models are compared and chosen as components for robot learning largely by future-prediction scores. On its own, such a score cannot be read as evidence of prediction, because it mixes encoder quality, the near future's resemblance to the recent past, and the predictor's own contribution. We separate the three with a matched control. On 27,000 future-retrieval trials from household egocentric video, a model must pick the true continuation of a clip among eleven candidates from the same video (chance 0.091), ranked zero-shot by its own training criterion. Each model is paired with a persistence control, an identical copy whose predictor is never invoked, so the paired difference isolates the predictor. Score and contribution dissociate within the native-video V-JEPA family alone: the predictor adds +0.291 top-1 for V-JEPA 2.1 but +0.03 to +0.04 for V-JEPA 2 on the identical trials. Across five models the contribution ranges from +0.291 to negative, and it is negative only for the two action-conditioned models, which we evaluate outside their training regime. Persistence alone recovers the encoder ordering expected from pretraining, a sign that the probe tracks real signal. We suggest reporting each future-prediction score together with its persistence baseline. The gap between them, not the score, is what makes the number interpretable: a necessary check costing one forward pass. Establishing downstream usefulness is a separate matter, for a planning or control evaluation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.15082v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.