arXiv:2611.17775v1 cs.RO

예측 이득을 넘어서: 월드 모델에서 행동에 기반한 잠재 변수를 위한 지표로서의 LASR

Beyond Prediction Gain: LASR as a Metric for Action-Grounded Latents in World Models

Yu Zhou, Changsong Lei, Yixiang Wei, Kairui Wen, Huankun Sheng, Ming Li, Yeying Fan, Yu-Hui Wen, Yong-Jin Liu

제출 2026-11-13

한국어 초록

계획, 제어, 해석 가능한 추론을 지원하는 월드 모델에는 행동을 실제로 인코딩하는 잠재 표현이 필요하다. 그러나 이러한 모델이 학습되는 대규모 비디오 데이터에는 행동 주석이 거의 없다. 잠재 행동 모델은 관측 시퀀스로부터 행동과 유사한 변수를 추론하여, 레이블 없는 비디오나 궤적으로부터 행동을 인지하는 학습을 가능하게 한다. 그러나 근본적인 우려가 남아 있다. 미래 예측을 개선하는 잠재 변수가 단지 현재 상태, 에피소드 진행도, 과제 정체성 또는 기타 예측 지름길을 인코딩하는 것일 수 있다는 점이다. 재구성 손실, 롤아웃 충실도, 행동 복원, 하위 과제 성능 같은 기존 평가 방식으로는 이러한 구분을 분리해 낼 수 없다. 본 논문은 오프라인 평가에서 보류된 데이터를 대상으로, 학습된 잠재 변수가 현재 상태와 비행동 대안을 넘어 행동 관련 목표에 대한 예측 지지를 제공하는지를 측정하는 무차원 지표인 Latent Action Support Ratio(LASR)를 제안한다. LASR은 두 가지 상호 보완적 요약을 제공하는데, GeoLASR은 전형적인 지지를 포착하고 WorstLASR은 가장 약한 경우를 식별한다. 기록된 행동과 이에 대응하는 물리적 상태 변화를 목표로, 에피소드 단위로 보류한 분할, 모든 비교에 하나의 예측기 유형, 그리고 양성 및 음성 대조군을 사용하여 LASR 벤치마크를 구성한다. 기록된 로봇 조작 데이터와 짝지은 다중 과제 패널에 대한 실험에서 LASR은 알려진 행동 정보를 탐지하고, 대표적인 비행동 지름길을 기각하며, 불완전한 잠재 표현 간의 단계적 비교를 가능하게 함을 보인다. 또한 LASR을 사용하여 경량 잔차 어댑터를 학습하고 감사하였으며, 짝지은 비교로 불확실성을 평가한 결과 기술적으로 더 나은 점추정치를 얻었다. 이에 LASR은 월드 모델 잠재 변수에서 행동 관련 예측 지지를 측정하기 위한 원칙적인 오프라인 프로토콜을 제공한다.

원문 초록

World models that support planning, control, and interpretable reasoning require latent representations that genuinely encode action. Yet the large-scale video data from which such models are learned overwhelmingly lack action annotations. Latent-action models infer action-like variables from observation sequences, enabling action-aware learning from unlabeled videos or trajectories. A fundamental concern, however, remains: a latent that improves future prediction may simply encode the current state, episode progress, task identity, or other predictive shortcuts. Existing evaluation practices---reconstruction loss, rollout fidelity, action recovery, or downstream performance---cannot isolate this distinction. We introduce the Latent Action Support Ratio (LASR), a dimensionless metric that measures, under offline evaluation on held-out data, whether a learned latent provides predictive support for action-related targets beyond the current state and non-action alternatives. LASR provides two complementary summaries: GeoLASR captures typical support, while WorstLASR identifies the weakest case. We instantiate the LASR benchmark with recorded actions and corresponding physical state changes as targets, episode-held-out splits, one predictor type for all comparisons, and positive and negative controls. Experiments on recorded robot manipulation data and a matched multi-task panel demonstrate that LASR detects known action information, rejects representative non-action shortcuts, and enables graded comparisons among imperfect latent representations. We further use LASR to train and audit a lightweight residual adapter, obtaining descriptively better point estimates whose uncertainty is assessed with paired comparisons. LASR thus provides a principled offline protocol for measuring action-related predictive support in world-model latents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.17775v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.