arXiv:2611.19771v1 cs.RO

JEPA4R: 4차원 점군 계획을 활용한 체화형 JEPA 월드 모델

JEPA4R: Embodied JEPA World Models with 4D Point Planning

Jiarui Dong, Zhiheng Liang, Yanjun Li, Zeyu Zhang, Heejeong Nam, Haoyu Chen, Hao Tang

제출 2026-11-17

한국어 초록

공동 임베딩 예측 아키텍처(JEPA) 월드 모델은 픽셀 대신 미래 임베딩을 예측하고 잠재 공간에서 계획한다. 두 가지 문제가 남아 있다. 2차원 영상에서는 조작에 필요한 실제 거리 정보가 암묵적으로 표현되고 외관과 뒤얽힌다. 또 이 모델은 주로 시뮬레이션에서 단기 잠재 계획의 성과로 평가받기 때문에 어떤 미래를 예상하는지 보기 어렵다. 본 연구는 깊이 카메라 한 대에서 얻은 점군을 관측하고, 점군의 잠재 공간에서 예측하고 계획하며, 동결한 잠재 표현을 입력받는 정책 헤드로 행동하는 JEPA 월드 모델 JEPA4R을 제시한다. 이를 4차원 점군 계획이라고 부른다. 가중치를 고정한 월드 모델에 디코더를 붙이면 모델이 예상하는 미래를 4차원 점군으로 볼 수 있다. 200단계에 걸친 평균 점 오차는 1.1cm 이내였다. OGBench와 CortexBench의 정책 학습 절차를 적용했을 때, JEPA4R은 OGBench의 Cube-Single, Cube-Double, Cube-Triple, Scene에서 픽셀 기반 JEPA 모델을 앞섰다. MetaWorld와 Adroit Relocate에서는 각각 98.4%와 88.0%로 1위를 차지했다. 차순위 R3M은 각각 96.0%와 65.3%였다. 디지털 트윈에서만 학습한 JEPA4R과 정책 헤드는 그리퍼를 장착한 실제 로봇 팔과 정교한 로봇 손을 장착한 로봇 팔에서 모두 제로샷으로 작동한다.

원문 초록

Joint-embedding predictive architecture (JEPA) world models predict future embeddings instead of pixels and plan in latent space. Two challenges remain: 2D images leave the metric geometry that manipulation acts on implicit and entangled with appearance, and what these models imagine stays hidden, as they are mostly judged in simulation by short-horizon latent planning. We present JEPA4R, a JEPA world model that observes single-depth-camera point clouds, predicts and plans in their latent space, and acts through a policy head on its frozen latents; we call this 4D point planning. A decoder on the frozen world model shows what it imagines as 4D point clouds, with a mean point error within 1.1 cm over 200 steps. Under the policy-learning protocols of OGBench and CortexBench, JEPA4R leads pixel JEPA models on OGBench Cube-Single, Cube-Double, Cube-Triple and Scene, and ranks first on MetaWorld and Adroit Relocate with 98.4% and 88.0%, above the runner-up, R3M, at 96.0% and 65.3%. Trained only in a digital twin, JEPA4R and its policy heads run zero-shot on the real arm with both a gripper and a dexterous hand.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19771v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.