arXiv:2611.22543v1 cs.RO

JointGV: 병렬 그래프 동역학으로 시각 월드 모델의 구조를 교정하는 장기 예측

JointGV: Structure-Aware Correction of Visual World Models with Parallel Graph Dynamics for Long-Horizon Modeling

Tian Lyu, Yichen Jiang, Ziyuan Cheng, Yunda Yan, Xiangyu Pan, Junjie Jiang, Jialin Yu, Boyu Ning, Pietro Li\`o, Fan Mo

제출 2026-11-18

한국어 초록

시각 월드 모델은 행동을 조건으로 미래의 시각 상태를 예측한다. 그러나 개체의 자세와 공간 관계에서 발생한 오차가 반복 예측 과정에서 누적돼 로봇 계획과 제어에 필요한 장기 예측을 제한한다. 시각 모델의 구조를 바꾸지 않고 별도로 예측한 관계 상태로 이 드리프트를 교정할 수 있는지 살펴봤다. 그래프 노드와 시각 상태는 구성 요소와 특징 공간을 공유하지 않으므로 두 표현을 연결하기 어렵다. 서로 다른 세분화 수준의 동역학에 관한 가설을 바탕으로 플러그인 JointGV(Joint Graph–Visual Dynamics Correction)를 제안한다. 그래프 노드와 시각 상태는 서로 다른 표현을 쓰지만 같은 물리적 전이를 기술한다는 가설이다. JointGV는 과제를 조건으로 한 장면 그래프와 시각 월드 모델의 롤아웃을 병렬로 실행하고 두 모델이 예측한 변화를 연결한다. 이렇게 얻은 그래프 움직임 문맥을 그래프가 예측한 노드 위치와 결합해 크기가 제한된 잔차를 계산한다. 그래프 학습과 교정의 그래디언트는 원래 시각 동역학 모델로 전파되지 않는다. 공간 토큰을 사용하는 DINO-WM과 전역 잠재 상태를 사용하는 DreamerV3에 JointGV를 붙였다. 시드 세 개로 DMC Cheetah Run과 Walker Walk에서 두 모델을 평가하고, 접촉이 많은 조작 과제 DMC Finger Turn Hard로 평가를 확장했다. 32단계 롤아웃에서 JointGV는 구조 및 시각 예측 정확도를 높이고 관절 위치 오차를 11~28% 줄였다. 공간 토큰의 경우 그래프와 시각 상태의 변화 간 관계를 학습한 방식은 동일한 평균 그래프 움직임 문맥을 모든 토큰에 일괄 전달하는 방식보다 오차가 작았다. 서로 인접하지 않은 부분들이 이미지에서 가까워 보일 때 특히 효과적이었다. 실제 로봇의 역진자 시퀀스에서 DINO-WM의 32단계 후 막대 각도 오차는 $12.56^\circ$에서 $6.69^\circ$로 줄었으며, DreamerV3와 LeWorldModel도 개선됐다. 모의 역진자 제어에서 JointGV로 교정한 롤아웃으로 학습한 액터는 에피소드 50개 중 46개를 완료했다. 원래 롤아웃을 사용하면 하나도 완료하지 못했다.

원문 초록

Visual world models predict future visual states conditioned on actions, but recursive errors in entity poses and spatial relations limit their long-horizon prediction for robot planning and control. We ask whether a separately predicted relational state can correct this drift without restructuring the visual model. This is challenging because graph nodes and visual states share neither elements nor a feature space. We propose Joint Graph--Visual Dynamics Correction (JointGV), a plug-in based on a cross-granularity dynamics hypothesis: despite their different representations, graph-node and visual-state changes describe the same physical transition. JointGV rolls out a task-conditioned scene graph alongside the visual world model, couples their predicted changes, and combines the resulting graph-motion context with graph-predicted node positions to compute a bounded residual. Graph-learning and correction gradients do not propagate into the original visual dynamics. We attach JointGV to DINO-WM (spatial tokens) and DreamerV3 (a global latent state), evaluating both on DMC Cheetah Run and Walker Walk across three seeds and extending the evaluation to contact-rich manipulation with DMC Finger Turn Hard. Across 32-step rollouts, JointGV improves structural and visual-prediction accuracy, reducing joint-position error by 11--28\%. For spatial tokens, learned graph--visual change coupling gives lower error than broadcasting the same mean graph-motion context to every token, particularly when non-adjacent parts appear close together in the image. On real-robot inverted-pendulum sequences, JointGV reduces DINO-WM's 32-step pole-angle error from $12.56^\circ$ to $6.69^\circ$ and improves DreamerV3 and LeWorldModel as well. In simulated inverted-pendulum control, an actor trained with JointGV-corrected rollouts completes 46 of 50 episodes, compared with none using the original rollouts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22543v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.