arXiv:2609.39888v2 cs.LG

마르코프 동역학 강제자: 학습된 동역학 다양체 상에서 실행 가능성을 보존하는 보정

Markovian Dynamics Enforcer: Feasibility Preserving Correction on Learned Dynamics Manifolds

Kevin Yu, Tao Guo, Constantinos Antoniou, Panagiotis Angeloudis

제출 2026-09-30

저자 비고

arXiv Comments

26 pages, 2 figures, 11 tables. Accepted at NeurIPS 2026. Code available at https://github.com/tsl-imperial/MaDE

한국어 초록

신경망 궤적 예측 모델(neural trajectory predictor)은 특히 제어 입력이 관측되지 않고 동역학이 부분적으로만 명시된 경우, 동역학, 액추에이터 한계 또는 상태 제약 조건을 위반하면서도 낮은 예측 오차에 도달할 수 있습니다. 본 논문에서는 상태 전이 제안을 학습된 실행 가능한 동역학 다양체(manifold)로 매핑하는 시불변 사후 연산자인 MaDE(Markovian Dynamics Enforcer)를 소개합니다. 이는 실제 제어 입력(ground-truth controls) 없이 실행 가능한 상태만을 바탕으로 학습됩니다. MaDE는 각 전이에 대해 제어 입력을 추론하고, 알려진 물리 법칙과 학습된 잔차(residual)로 구성된 완결 모델(completion model)을 통해 상태를 재계산합니다. 그런 다음 그래디언트 기반 부등식 감소를 통해 해당 제어 입력을 보정하므로, 부등식 만족은 반복(iteration) 예산 내에서 최선의 노력(best-effort)으로 이루어집니다. 모든 보정 반복 단계가 완결 모델에 다시 입력되므로, 반환된 상태는 해당 모델 및 제공된 이전 상태 앵커를 기준으로 구조상 동역학적 일관성을 갖게 됩니다. MaDE는 완전히 명시된 시뮬레이션 시스템에서 동역학 잔차를 본질적으로 0에 가깝게 줄이며, 불충분하게 명시된 시스템에서는 베이스라인보다 더 작은 실제 동역학 잔차를 남깁니다. 임의의 예측 모델에 결합되도록 설계된 이 고정된(frozen) 연산자는 순환 신경망, 구조화된 상태 공간, 트랜스포머(transformer) 예측 모델의 다운스트림에서 평가되었습니다. 기록된 차량 궤적 데이터에서 기구학적 자전거 모델 대비 1단계 잔차는 MaDE 적용 시 0.0071~0.0072인 반면, 원본 예측 모델은 0.1703~0.1714였습니다. MaDE는 평균 변위 오차(ADE)를 1.57배에서 1.83배 증가시킵니다.

원문 초록

Neural trajectory predictors can reach low prediction error while violating dynamics, actuator limits, or state constraints, especially when controls are unobserved and dynamics are partially specified. We introduce the Markovian Dynamics Enforcer (MaDE), a time-invariant post-hoc operator mapping state-transition proposals onto a learned feasible dynamics manifold, trained on feasible states without ground-truth controls. For each transition it infers a control and recomputes the state through a completion model of known physics plus a learned residual. It then corrects that control by gradient-based inequality reduction, so inequality satisfaction is best-effort within an iteration budget. Since every correction iterate re-enters the completion model, the returned state is dynamically consistent by construction relative to that model and the supplied previous-state anchor. MaDE drives dynamics residuals to essentially zero on fully specified simulated systems, and on an underspecified system leaves a smaller true-dynamics residual than the baselines. Designed to attach to arbitrary predictors, the frozen operator is evaluated downstream of recurrent, structured state-space, and transformer predictors. On recorded vehicle trajectories the one-step residual against a kinematic bicycle model is 0.0071 to 0.0072 for MaDE and 0.1703 to 0.1714 for raw predictors. MaDE raises average displacement error by a factor of 1.57 to 1.83.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.39888v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24631v1cs.RO공통 태그 Autonomous Driving, Continuous Control, Model Predictive Control

의미적 의사결정에서 실현 가능한 궤적으로: 협소 공간 주차를 위한 자기 진화형 LLM 기반 최적 제어

From Semantic Decisions to Feasible Trajectories: Self-Evolving LLM-Guided Optimal Control for Narrow-Space Parking

비볼록(nonconvex)하고 협소한 환경에서의 자율 주차는 여전히 어려운 과제로 남아 있다. 최적 제어(optimal control) 기법은 차량 동역학과 충돌 제약 조건을 명시적으로 강제할 수 있지만, 비볼록성은 솔버(solver)의 강건성을 저하시켜 실패를 유발할 수 있다. 대규모 언어 모델(LLM)은 강력한 의미적 추론 능력을 보이지만, 조밀한 궤적을 직접 생성할 경우 물리적 실현 가능성을 보장하기 어렵다. 우리는 LLM이 상위 수준의 이산적 기동(maneuver) 결정을 내리고, 최적 제어 모듈이 하위 수준의 차량 동역학과 충돌 제약 조건을 강제하는 통합 프레임워크인 SE-LLM-OCP를 제안한다. 온라인 단계에서 LLM은 희소한(sparse) 기동 계획을 제안하여 주차 과제를 일련의 단기(short-horizon) 궤적 최적화 문제들로 분해한다. 그런 다음 하위 수준 솔버가 최적 제어 문제들을 순차적으로 해결한다. 솔버가 실패하면 LLM은 솔버 및 검증 단계에서 얻은 실패 증거를 종합하여 재계획(replanning)을 안내한다. 오프라인 단계에서 SE-LLM-OCP는 누적된 온라인 실패 사례를 바탕으로 구조화된 의사결정 지식 베이스를 처음부터 자동으로 진화시킨다. 우리는 제안한 프레임워크를 자동차형 차량 모델과 차동 구동(differential-drive) 로봇에 대한 시뮬레이션에서 검증한다. 실험 결과, SE-LLM-OCP는 협소한 시나리오에서 더 안전한 자율 주차를 가능하게 하며, 동일한 기동 표현이 서로 다른 운동학적(kinematic) 플랫폼으로 전이될 수 있음을 보여준다.

arXiv:2610.04988v2cs.LG공통 태그 Continuous Control, Model Predictive Control

얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도

How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models

잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.

arXiv:2610.10646v1cs.RO공통 태그 Continuous Control, Model Predictive Control

기하학 유도 토큰 탐색을 활용한 마스크 생성 모션 플래닝

Masked Generative Motion Planning with Geometry-Guided Token Search

생성형 모션 플래너(generative motion planner)는 일반적으로 초기 생성을 위해 학습된 궤적 사전 분포를 사용하며, 테스트 시점의 복구는 국소적인 연속 개선(refinement)에 맡깁니다. 본 논문에서는 학습된 사전 분포를 효율적인 병렬 생성에서 구조적 복구로 확장하는 마스크 생성 모션 플래닝(Masked Generative Motion Planning, MGMP)을 소개합니다. 마스크 생성 트랜스포머는 이산 궤적 후보들을 병렬로 생성하며, 기하학 유도 토큰 탐색(Geometry-Guided Token Search, GGTS)은 장면 기하학을 활용하여 수정할 위치와 평가할 사전 분포 기반 대안을 타겟팅합니다. 이를 통해 개선 과정을 이산 모션 대안에 대한 효율적인 탐색으로 전환하여, 국소적 궤적 변형을 넘어 경로 수준의 재구성을 가능하게 합니다. MGMP는 Ring Maze에서 96%의 성공률을 달성하고 Kuka의 통제된 경로 무효화(Controlled Route Invalidation)에서 82%의 복구 성공률을 기록하여, 가장 강력한 외부 베이스라인을 각각 23%포인트 및 25%포인트 앞섰습니다. 나아가 보지 못한 배치, 추가 장애물, 보지 못한 기하학적 형태, 단일 및 이중 팔 플래닝, 그리고 실제 Baxter 작업으로도 일반화됩니다.

arXiv:2609.35603v2cs.LG공통 태그 Continuous Control, Model Predictive Control

샘플링 기반 잠재 계획을 위한 제어 기하학 직선화

Control-Geometry Straightening for Sampling-Based Latent Planning

결합 임베딩 예측 아키텍처(joint-embedding predictive architecture)는 잠재 월드 모델(latent world model)을 활용한 계획 수립을 가능하게 하지만, 정확한 전이 예측만으로는 계획 목적 함수를 쉽게 최적화할 수 있음을 보장하지 못합니다. 본 논문에서는 샘플링 효율적인 계획 수립을 위해 제어 기하학(control geometry)을 직접 직선화하여 플래너 친화적인 표현을 학습하는 단일 보조 손실(loss)인 제어 기하학 직선화(Control-Geometry Straightening, CGS)를 제안합니다. CGS는 픽셀-행동 쌍의 국소 전이만을 사용하여 행동 간의 쌍별 코사인 유사도와 이에 대응하는 잠재 차이 간의 코사인 유사도를 일치시킵니다. 이 손실은 종단간 학습된 표현이나 사전학습된 표현을 활용하는 다양한 월드 모델 아키텍처에 적용될 수 있습니다. 선형 역학 하에서 진행된 이론적 분석에 따르면, 이 목적 함수는 시간적 직선화(temporal straightening) 및 전체 계획 기간에 걸친 보다 균형 잡힌 종단 비용 곡률과 연결되며, 이를 통해 MPPI에 대한 유한 예산 보장, CEM에 대한 국소 수축 결과, 경사하강법(gradient descent)에 대한 수렴(convergence) 한계를 도출합니다. 네 가지 제어 환경과 다양한 플래너에 걸친 실험에서, CGS는 더 적은 샘플 후보와 개선 단계로도 계획 성능을 향상시켰으며, 업데이트당 128개의 후보를 사용하는 샘플링 기반 플래너 환경에서 LeWorldModel(LeWM) 및 시간적 직선화 변형(LeWM+TS) 대비 성공률을 각각 최대 20%포인트 및 12.6%포인트 향상시켰습니다. 프로브, DINO-WM 아키텍처와의 비교, 플래너 측면의 절제 연구를 통해 잠재 모션 구조화, 상태 의존성, 역학적 맥락이 계획 동작을 어떻게 형성하는지 명확히 규명합니다. 결과적으로 제어 기하학을 직선화함으로써 제한된 계획 예산 내에서도 우수한 행동 시퀀스를 더 쉽게 찾을 수 있음을 보여줍니다.

arXiv:2608.16287v3cs.LG공통 태그 Continuous Control, Model Predictive Control

JEPA 월드 모델을 활용한 계획 수립에서 표현 기하학의 중요성

Reperesentation Geometry Matters for Planning with JEPA World Models

결합 임베딩 예측형 월드 모델(Joint-embedding predictive world models)은 잠재 예측을 통해 계획 수립(planning)을 지원하지만, 제약 없는 결합 학습(joint training)은 서로 다른 관측치를 동일한 임베딩으로 붕괴(collapse)시킬 수 있습니다. 붕괴를 방지하기 위한 두 가지 대표적인 전략은 DINO-WM처럼 사전학습된 특징을 상속받거나, LeWorldModel(LeWM)처럼 붕괴 방지 정규화를 적용하여 표현을 엔드투엔드로 학습하는 것입니다. 그러나 붕괴를 방지한다고 해서 잠재 공간의 거리가 과업에 중요한 방식으로 결과를 구별해 주는 것은 아닙니다. 예를 들어 물체 조작(object manipulation)에서 성공 여부는 목표 대비 물체의 위치와 방향에 따라 결정됩니다. 이러한 과업 관련 상태 정보는 정확하게 디코딩될 수 있으면서도 잠재 거리에는 거의 영향을 미치지 않을 수 있습니다. 그 결과 발생하는 계획 수립 비용은 예측된 결과가 과업 목표에 얼마나 가까운지를 반영하지 못할 수 있습니다. 본 논문에서는 샘플링된 쌍별(pairwise) 잠재 거리와 과업 관련 상태 공간의 거리 간 상관관계를 형성하는 방법인 SCALE(State-CAlibrated Latent Embeddings)을 제안합니다. LeWM의 기존 목적 함수에 추가되는 SCALE은 기존 아키텍처를 그대로 유지하고, 학습 중에만 특권 상태(privileged state)를 필요로 하며, 계획 수립 시점의 계산량을 추가하지 않습니다. 여러 솔버를 사용한 조작 및 내비게이션 과업 전반에서 SCALE이 LeWM 대비 계획 수립 성공률을 향상시킴을 보이고, SCALE이 계획 수립을 지원하기 위해 표현 기하학(representation geometry)을 어떻게 재구성하는지에 대한 포괄적인 분석을 제공합니다.

arXiv:2609.32921v2cs.LG공통 태그 Continuous Control, Model Predictive Control

월드 모델을 위한 적응형 잠재 용량

Adaptive Latent Capacity for World Models

본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.