arXiv:2606.08775v2 cs.RO

객체 중심 월드 모델과 확산 정책의 통합: 다단계 로봇 작업을 위한 계층적 프레임워크

Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks

Raktim Gautam Goswami, Prashanth Krishnamurthy, Yann LeCun, Farshad Khorrami

제출 2026-06-07

한국어 초록

시각적 월드 모델(visual world model)은 복잡한 시스템 동역학을 학습하는 데 뛰어난 잠재력을 보여주었습니다. 최근의 발전은 이러한 모델을 모델 예측 제어(MPC) 프레임워크 내의 전이 함수(transition function)로 활용하여 다양한 제어 작업을 해결하고 있습니다. 그러나 로보틱스에 적용할 경우, 도달(reaching)이나 파지(grasping)와 같은 단일 단계 작업에 국한되며, 복잡한 순차적 계획을 요구하는 다단계 작업에서는 어려움을 겪습니다. 본 연구에서는 다단계 로봇 조작을 위해 설계된 월드 모델 프레임워크인 WorldDP를 소개합니다. 제안하는 계층적 접근 방식은 상위 수준의 월드 모델을 전이 함수로 활용하여 런타임 중에 실현 가능한 하위 목표(subgoal)를 최적화하며, 이는 이후 하위 수준의 확산 정책(Diffusion Policy)을 통해 도달됩니다. 동역학 학습과 계획 수립을 더욱 지원하기 위해 환경 내 개체를 분리하고 각 개체에 대해 순차적으로 계획할 수 있도록 하는 객체 중심(object-centric) 표현을 통합합니다. 여러 로보틱스 벤치마크에서 평가한 결과, WorldDP는 기존 베이스라인을 일관되게 능가하며, 월드 모델의 물리적으로 기반한(grounded) 계획과 확산 정책의 효율적인 실행을 결합하는 것이 우수한 다단계 성능을 낳음을 입증합니다. 프로젝트 페이지: https://raktimgg.github.io/worlddp-website/.

원문 초록

Visual world models have shown great potential in learning complex system dynamics. Recent advancements leverage these models as transition functions within Model Predictive Control (MPC) frameworks to solve various control tasks. When applied to robotics, however, they are limited to single-stage tasks such as reaching or grasping, and struggle with multi-stage ones that demand complex sequential planning. In this work, we introduce WorldDP, a world model framework designed for multi-stage robotic manipulation. Our hierarchical approach utilizes a high-level world model as a transition function to optimize for feasible subgoals during runtime, which are subsequently reached by a low-level Diffusion Policy. To further aid in learning dynamics and planning, we incorporate object-centric representations that decouple environmental entities and enable us to plan sequentially with respect to each. Evaluated across several robotics benchmarks, WorldDP consistently outperforms existing baselines, validating that coupling the world model's physically grounded planning with diffusion policy's efficient execution yields superior multi-stage performance. Project Page: https://raktimgg.github.io/worlddp-website/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.08775v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.04988v2cs.LG공통 태그 Representation Learning, Model Predictive Control, world models

얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도

How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models

잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.

arXiv:2609.35603v2cs.LG공통 태그 Representation Learning, Model Predictive Control, world models

샘플링 기반 잠재 계획을 위한 제어 기하학 직선화

Control-Geometry Straightening for Sampling-Based Latent Planning

결합 임베딩 예측 아키텍처(joint-embedding predictive architecture)는 잠재 월드 모델(latent world model)을 활용한 계획 수립을 가능하게 하지만, 정확한 전이 예측만으로는 계획 목적 함수를 쉽게 최적화할 수 있음을 보장하지 못합니다. 본 논문에서는 샘플링 효율적인 계획 수립을 위해 제어 기하학(control geometry)을 직접 직선화하여 플래너 친화적인 표현을 학습하는 단일 보조 손실(loss)인 제어 기하학 직선화(Control-Geometry Straightening, CGS)를 제안합니다. CGS는 픽셀-행동 쌍의 국소 전이만을 사용하여 행동 간의 쌍별 코사인 유사도와 이에 대응하는 잠재 차이 간의 코사인 유사도를 일치시킵니다. 이 손실은 종단간 학습된 표현이나 사전학습된 표현을 활용하는 다양한 월드 모델 아키텍처에 적용될 수 있습니다. 선형 역학 하에서 진행된 이론적 분석에 따르면, 이 목적 함수는 시간적 직선화(temporal straightening) 및 전체 계획 기간에 걸친 보다 균형 잡힌 종단 비용 곡률과 연결되며, 이를 통해 MPPI에 대한 유한 예산 보장, CEM에 대한 국소 수축 결과, 경사하강법(gradient descent)에 대한 수렴(convergence) 한계를 도출합니다. 네 가지 제어 환경과 다양한 플래너에 걸친 실험에서, CGS는 더 적은 샘플 후보와 개선 단계로도 계획 성능을 향상시켰으며, 업데이트당 128개의 후보를 사용하는 샘플링 기반 플래너 환경에서 LeWorldModel(LeWM) 및 시간적 직선화 변형(LeWM+TS) 대비 성공률을 각각 최대 20%포인트 및 12.6%포인트 향상시켰습니다. 프로브, DINO-WM 아키텍처와의 비교, 플래너 측면의 절제 연구를 통해 잠재 모션 구조화, 상태 의존성, 역학적 맥락이 계획 동작을 어떻게 형성하는지 명확히 규명합니다. 결과적으로 제어 기하학을 직선화함으로써 제한된 계획 예산 내에서도 우수한 행동 시퀀스를 더 쉽게 찾을 수 있음을 보여줍니다.

arXiv:2609.32921v2cs.LG공통 태그 Representation Learning, Model Predictive Control, world models

월드 모델을 위한 적응형 잠재 용량

Adaptive Latent Capacity for World Models

본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.

arXiv:2610.03137v1cs.AI공통 태그 Representation Learning, world models, robotic manipulation

프레임의 움직임이 적을 때 JEPA 월드 모델의 계획 수립 가능성을 유지하는 방법

Keeping JEPA World Models Plannable When Little of the Frame Moves

목표 프레임 대신 언어로 목표를 지정하는 방식은 잠재 월드 모델(latent world model)을 사용한 계획 수립(planning)에 자연스러운 인터페이스이지만, 이를 검증하려면 언어가 여러 객체를 구별해야 하는 장면이 필요합니다. 본 연구에서는 여러 개의 작은 객체와 동일한 장면에 대한 시각적 및 언어 목표 쌍으로 구성된 밀기 벤치마크인 SLIM을 구축했습니다. SLIM에서 PushT를 해결하는 LeWM 월드 모델은 시뮬레이터 상태를 사용하는 스크립트 컨트롤러가 모든 단계를 해결함에도 불구하고 1% 미만의 시도에서만 성공합니다. 프로브 분석 결과 인코더에서 실패의 원인을 찾아냈습니다. 인코더의 잠재 상태는 행동에 거의 반응하지 않으며, 푸셔(pusher)나 객체의 위치를 디코딩할 수 없고, 롤아웃은 현재 잠재 상태를 그대로 복사해 전달하는 수준에 불과합니다. 인코더 잠재 상태와 예측된 잠재 상태 모두에 공유 헤드를 통해 적용되며 테스트 시점에는 폐기되는 단 하나의 역동역학(inverse-dynamics) 보조 손실(loss)만으로 모든 프로브를 회복하고 성공률을 0.003에서 0.35로 끌어올렸으며(목표 무관 정책의 점수가 0인 고난도 밀기 단계에서는 0.16), 학습된 지평의 2배 길이에서도 PushT 성능을 향상시켰습니다. 대조군 분석을 통해 이러한 개선이 인코더로 유입되는 그래디언트(gradient) 덕분임을 확인했으며, 반응도 조사를 통해 기본 모델 또한 행동에 반응하는 프레임 영역이 충분해지면 계획을 수립할 수 있음을 보였습니다. 환경(environment) 접근 없이도 계산 가능한 저비용의 행동 민감도 프로브는 경험적 필요조건으로 작용하여 임계값 미만의 모든 설정에서 계획 수립에 실패했습니다. 복구된 잠재 공간 위에서는 소형 언어 목표 헤드가 월드 모델의 재학습 없이도 문장으로부터 계획을 수립합니다. 내비게이션에서 0.84에 도달하고(시각 목표 오라클은 1.00), 유인물(decoy)과 자리가 바뀌더라도 지정된 영역을 추적하며, 보지 못한 명사에 대해서도 완만하게 성능 저하를 보입니다. 단일 목표 문장으로는 밀기를 완수하기 어렵지만, 밀기 작업을 일련의 단계별 문장 시퀀스로 제공하면 중간 및 고난도 밀기 단계에서 헤드의 성공률이 0.04에서 목표 프레임 오라클 수준인 0.25로 향상되며, 단계 간의 전환을 잠재 상태에서만 읽어내는 경우에도 동일한 성과를 거둡니다.

arXiv:2610.13578v1cs.RO공통 태그 Representation Learning, robotic manipulation

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

arXiv:2609.33563v2cs.LG공통 태그 Representation Learning, world models

MA-JEPA: 다중 에이전트 강화학습을 위한 결합 임베딩 월드 모델

MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning

월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.