arXiv:2607.02403v2 cs.RO

ACID: 월드 모델 기반 플래닝을 위한 역동역학을 통한 행동 일관성

ACID: Action Consistency via Inverse Dynamics for Planning with World Models

Gawon Seo, Dongwon Kim, Suha Kwak

제출 2026-07-02

저자 비고

arXiv Comments

Project page: https://gawon1224.github.io/ACID/

한국어 초록

행동 조건부 월드 모델(action-conditioned world model)을 사용한 의사결정 시점 플래닝(decision-time planning)은 체화된 제어(embodied control) 분야에서 널리 쓰이는 패러다임이 되었습니다. 그러나 표준 플래닝 비용은 예측된 종단 상태가 목표에 얼마나 가까운지만으로 후보를 평가하므로, 중간 전이(intermediate transition)의 실현 가능성을 확인하지 않은 채로 둡니다. 즉, 예측된 궤적은 그럴듯해 보이지만 실제 환경 롤아웃은 이로부터 벗어날 수 있습니다. 본 논문에서는 순환 행동 일관성(cycle action consistency)을 도입한 의사결정 시점 플래닝 프레임워크인 ACID를 제안합니다. 이는 역동역학 모델(inverse dynamics model)을 통해 예측된 전이로부터 역방향으로 추론된 행동이 원래 조건으로 부여되었던 행동을 복원해야 한다는 원리입니다. 우리는 척도 불변(scale-invariant) 적응형 가중치를 통해 이러한 단계별 잔차를 플래닝 비용에 반영합니다. 시뮬레이션 환경에서의 물체 조작 및 다관절 제어, 시각적 내비게이션, 실제 로봇 조작을 아우르는 8가지 과제와 4가지 행동 조건부 월드 모델 전반에서, ACID는 플래닝 성능을 일관되게 향상시키며 훨씬 적은 플래닝 연산량으로도 기준선의 정확도에 도달합니다.

원문 초록

Decision-time planning with action-conditioned world models has become a popular paradigm for embodied control. However, the standard planning cost judges a candidate solely by how close its predicted terminal state lies to the goal, leaving the realizability of the intermediate transitions unchecked--a predicted trajectory can look convincing while the environment rollout drifts away from it. In this paper, we propose ACID, a decision-time planning framework that introduces cycle action consistency: the action inferred backward from a predicted transition by an inverse dynamics model should recover the one that was conditioned on. We fold this per-step residual into the planning cost via a scale-invariant adaptive weight. Across four action-conditioned world models and eight tasks encompassing object manipulation and articulated control in simulation, visual navigation, and real-robot manipulation, ACID consistently improves planning and matches the baseline's accuracy with substantially less planning compute.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02403v2
  2. arXiv:2607.02403v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.01736v3cs.LG공통 태그 Model Predictive Control, world models

RSSM 월드 모델에서의 보상 관찰 가능성과 오프라인 체크포인트 선택의 한계

Reward Observability and the Limits of Offline Checkpoint Selection in RSSM World Models

우리는 Gymnasium의 LunarLander-v3에서 인간 시연(human demonstration) 데이터로 학습된 순환 상태공간모델(recurrent state-space model, RSSM) 월드 모델(world model)의 폐루프(closed-loop) 특성을 연구한다. 우리는 학습된 월드 모델을 제로샷(zero-shot) CEM 모델예측제어(model-predictive control, MPC)와 상상(imagination) 내 액터-크리틱(actor-critic, A2C) 학습에 사용한다. 100개의 홀드아웃(held-out) 에피소드로 평가했을 때, 선택된 모델 기반 A2C 정책(월드 모델 체크포인트 280에서 학습됨)은 평균 리턴(mean return) +189.5를 달성하여, 최고의 모델-프리(model-free) A2C 체크포인트(+183.7; 각각 600스텝 및 1000스텝 에피소드 상한)와 대등한 성능을 보이면서도 실제 학습 전이(transition)는 약 65배 더 적게 사용했다. 우리는 또한 월드 모델 MPC를 성공적인 시연 데이터로 학습된 행동 복제(behaviour-cloning, BC) 정책과 비교한다. BC 정책은 확률적(stochastic) 행동 선택 하에서만 MPC의 평균 리턴과 대등한 성능을 보이며, 동일한 20개 에피소드에서 MPC에는 없는 하나의 치명적인(catastrophic) 에피소드가 발생한다. 이어서 우리는 선형화된 잠재 동역학(latent dynamics)의 관측 가능한 부분공간(observable subspace) 내에서 보상 그래디언트(reward gradient)의 유클리드 비율(Euclidean fraction)인 보상 관찰 가능성 비율(Reward Observability Fraction, ROF)을 도입하고, 이후 H개의 관측(observation)이 이 부분공간 내의 모든 방향에 대해서는 피셔 정보(Fisher information)를 가지지만 그와 직교하는 방향에 대해서는 전혀 가지지 않음을 보인다. 그러나 ROF 자체는 잠재 변수(latent)가 어떻게 스케일링(scaling)되는지에 의존한다. 즉, 잠재 변수를 재스케일링(rescaling)하면 모델은 변하지 않지만 ROF는 변하므로, 원시(raw) 수치 수준은 모델 간에 직접 비교할 수 없다. 보상 헤드(reward head)를 사후분포로 보정된(posterior-corrected) 잠재 변수 z에 강제로 연결하면 ROF가 상승하며, 이 상승은 우리가 테스트한 두 실행(run) 쌍에 대한 좌표 불변성(coordinate-invariant) 검증을 통과한다. 마지막으로, 우리는 ROF 또는 다른 오프라인 지표(metric)가 MPC의 폐루프 붕괴(collapse)를 예측할 수 있는지를 검증한다. 붕괴는 동일한 데이터와 설정(configuration)을 가진 학습 실행들 사이에서도 서로 다르게 나타난다. ROF는 이를 예측하지 못하며, 우리가 선별(screening)한 108개의 오프라인 요약 지표(summary) 중 어느 것도 순열 검정(permutation test)을 통과하지 못했고, 가장 유력한 후보조차 새로운 실행에서는 실패한다. 모델과 로그 데이터만으로 붕괴를 오프라인에서 예측하는 문제는 여전히 미해결 과제로 남아 있다.

arXiv:2609.19142v3cs.CV공통 태그 Robot Manipulation, world models

PointZero: 전이 가능한 3D 동역학 학습을 위한 3D 포인트 트랙 완성

PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics

월드 모델(world model)은 지각 시스템에 상호작용에 따라 장면이 어떻게 변화하는지를 예측하는 능력을 부여한다. 월드 모델은 다양한 양의 데이터로 학습되었을 때 가장 큰 이점을 가지며, 이를 통해 다운스트림 응용에 풍부한 사전 지식(prior)을 심어줄 수 있다. 기존 방법들은 행동 조건화된(action-conditioned) 3D 동역학을 학습하기 위해 일반적으로 로봇 행동 레이블을 필요로 하며, 이는 웹 비디오 데이터를 학습 풀에서 제외시킨다. 우리는 로봇 데이터 없이 전이 가능한 3D 동역학을 학습하기 위한 사전학습 목표로서 3D 포인트 트랙 완성을 연구한다. 단일 RGB-D 관측과 희소한 부분 3D 궤적(트랙)이 주어졌을 때, 우리는 관측된 모든 점들의 미래 3D 트랙을 예측한다. 우리는 이 목표가 로봇 행동 레이블을 필요로 하지 않고도 풍부한 3D 동역학 사전 지식을 생성함을 보인다. 우리는 변형 가능한(deformable), 관절형(articulated), 그리고 견고한(rigid) 객체를 포괄하는 290만 개의 합성 프레임으로 구성된 다양한 데이터셋을 제공하며, 이를 사용해 PointZero를 학습시킨다. 우리는 유연하고 표현력이 풍부한 트랜스포머인 PointZero가 동일한 데이터에서 기존 방법들을 능가함을 보인다. 우리는 PointZero를 두 가지 다운스트림 응용, 즉 (1) 행동 조건화된 3D 동역학 예측과 (2) 모방 학습(imitation learning)을 위해 사후 학습함으로써 우리의 사전학습 목표의 유용성을 입증한다. 엔드이펙터(end-effector) 자세를 조건으로 하도록 파인튜닝되었을 때, PointZero는 최근의 PGND 3D 동역학 벤치마크에서 베이스라인들을 능가한다. 로봇 행동과 3D 트랙을 예측하도록 파인튜닝되었을 때, PointZero는 7개 중 6개의 시뮬레이션 및 실제 로봇 조작 과업에서 베이스라인들을 능가하거나 동등한 성능을 보인다. 우리는 또한 제안한 아키텍처의 이점과 제안한 사전학습 목표 및 데이터셋의 이점을 분리하기 위해 PointZero를 처음부터(from scratch) 학습시키는 실험도 평가한다. 우리는 데이터셋, 체크포인트, 그리고 전체 학습 레시피를 공개한다.

arXiv:2610.04988v2cs.LG공통 태그 Model Predictive Control, world models

얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도

How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models

잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.

arXiv:2609.35603v2cs.LG공통 태그 Model Predictive Control, world models

샘플링 기반 잠재 계획을 위한 제어 기하학 직선화

Control-Geometry Straightening for Sampling-Based Latent Planning

결합 임베딩 예측 아키텍처(joint-embedding predictive architecture)는 잠재 월드 모델(latent world model)을 활용한 계획 수립을 가능하게 하지만, 정확한 전이 예측만으로는 계획 목적 함수를 쉽게 최적화할 수 있음을 보장하지 못합니다. 본 논문에서는 샘플링 효율적인 계획 수립을 위해 제어 기하학(control geometry)을 직접 직선화하여 플래너 친화적인 표현을 학습하는 단일 보조 손실(loss)인 제어 기하학 직선화(Control-Geometry Straightening, CGS)를 제안합니다. CGS는 픽셀-행동 쌍의 국소 전이만을 사용하여 행동 간의 쌍별 코사인 유사도와 이에 대응하는 잠재 차이 간의 코사인 유사도를 일치시킵니다. 이 손실은 종단간 학습된 표현이나 사전학습된 표현을 활용하는 다양한 월드 모델 아키텍처에 적용될 수 있습니다. 선형 역학 하에서 진행된 이론적 분석에 따르면, 이 목적 함수는 시간적 직선화(temporal straightening) 및 전체 계획 기간에 걸친 보다 균형 잡힌 종단 비용 곡률과 연결되며, 이를 통해 MPPI에 대한 유한 예산 보장, CEM에 대한 국소 수축 결과, 경사하강법(gradient descent)에 대한 수렴(convergence) 한계를 도출합니다. 네 가지 제어 환경과 다양한 플래너에 걸친 실험에서, CGS는 더 적은 샘플 후보와 개선 단계로도 계획 성능을 향상시켰으며, 업데이트당 128개의 후보를 사용하는 샘플링 기반 플래너 환경에서 LeWorldModel(LeWM) 및 시간적 직선화 변형(LeWM+TS) 대비 성공률을 각각 최대 20%포인트 및 12.6%포인트 향상시켰습니다. 프로브, DINO-WM 아키텍처와의 비교, 플래너 측면의 절제 연구를 통해 잠재 모션 구조화, 상태 의존성, 역학적 맥락이 계획 동작을 어떻게 형성하는지 명확히 규명합니다. 결과적으로 제어 기하학을 직선화함으로써 제한된 계획 예산 내에서도 우수한 행동 시퀀스를 더 쉽게 찾을 수 있음을 보여줍니다.

arXiv:2608.16287v3cs.LG공통 태그 Model Predictive Control, world models

JEPA 월드 모델을 활용한 계획 수립에서 표현 기하학의 중요성

Reperesentation Geometry Matters for Planning with JEPA World Models

결합 임베딩 예측형 월드 모델(Joint-embedding predictive world models)은 잠재 예측을 통해 계획 수립(planning)을 지원하지만, 제약 없는 결합 학습(joint training)은 서로 다른 관측치를 동일한 임베딩으로 붕괴(collapse)시킬 수 있습니다. 붕괴를 방지하기 위한 두 가지 대표적인 전략은 DINO-WM처럼 사전학습된 특징을 상속받거나, LeWorldModel(LeWM)처럼 붕괴 방지 정규화를 적용하여 표현을 엔드투엔드로 학습하는 것입니다. 그러나 붕괴를 방지한다고 해서 잠재 공간의 거리가 과업에 중요한 방식으로 결과를 구별해 주는 것은 아닙니다. 예를 들어 물체 조작(object manipulation)에서 성공 여부는 목표 대비 물체의 위치와 방향에 따라 결정됩니다. 이러한 과업 관련 상태 정보는 정확하게 디코딩될 수 있으면서도 잠재 거리에는 거의 영향을 미치지 않을 수 있습니다. 그 결과 발생하는 계획 수립 비용은 예측된 결과가 과업 목표에 얼마나 가까운지를 반영하지 못할 수 있습니다. 본 논문에서는 샘플링된 쌍별(pairwise) 잠재 거리와 과업 관련 상태 공간의 거리 간 상관관계를 형성하는 방법인 SCALE(State-CAlibrated Latent Embeddings)을 제안합니다. LeWM의 기존 목적 함수에 추가되는 SCALE은 기존 아키텍처를 그대로 유지하고, 학습 중에만 특권 상태(privileged state)를 필요로 하며, 계획 수립 시점의 계산량을 추가하지 않습니다. 여러 솔버를 사용한 조작 및 내비게이션 과업 전반에서 SCALE이 LeWM 대비 계획 수립 성공률을 향상시킴을 보이고, SCALE이 계획 수립을 지원하기 위해 표현 기하학(representation geometry)을 어떻게 재구성하는지에 대한 포괄적인 분석을 제공합니다.

arXiv:2609.32921v2cs.LG공통 태그 Model Predictive Control, world models

월드 모델을 위한 적응형 잠재 용량

Adaptive Latent Capacity for World Models

본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.