arXiv:2606.20627v2 cs.AI

모델 기반 플래닝을 위한 언어 기반 잠재 목표 예측

Latent Goal Prediction from Language for Model-Based Planning

Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

제출 2026-05-26

저자 비고

arXiv Comments

10 pages. Preprint under review

한국어 초록

결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.

원문 초록

Joint-Embedding Predictive Architectures (JEPAs) enable agents to plan in latent space by imagining the outcomes of candidate actions, yet task specification remains a bottleneck. Visual targets provide precise local gradients but poor distant guidance, while language is flexible yet limited by noisy cross-modal alignment or dependence on distinct large generative models. We introduce LAGO (Latent Goal Prediction from Language), a hierarchical world model in which a single predictor both forecasts action-conditioned dynamics and grounds language instructions as sequences of intermediate latent subgoals, training both modes with a single regression objective over a shared latent space. At each planning step, LAGO predicts a sequence of latent subgoals from a language instruction and optimizes an action sequence using a soft-minimum alignment cost that rewards subgoal proximity without enforcing a rigid path. Subgoals are repredicted as the agent's state evolves, turning a single long-horizon instruction into a sequence of locally tractable objectives. Across environments spanning navigation and manipulation, LAGO outperforms flat and hierarchical image-goal planners, with the largest gains on long-horizon navigation with curved, hazard-constrained paths, where it more than doubles the success rate of a goal-conditioned behavior cloning policy trained on the same demonstrations. Grounding language in the world model's own latent space also outperforms vision-language reward models, including one that plans with ground-truth dynamics.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20627v2
  2. arXiv:2606.20627v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.04988v2cs.LG공통 태그 Representation Learning, Continuous Control, Model Predictive Control

얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도

How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models

잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.

arXiv:2609.35603v2cs.LG공통 태그 Representation Learning, Continuous Control, Model Predictive Control

샘플링 기반 잠재 계획을 위한 제어 기하학 직선화

Control-Geometry Straightening for Sampling-Based Latent Planning

결합 임베딩 예측 아키텍처(joint-embedding predictive architecture)는 잠재 월드 모델(latent world model)을 활용한 계획 수립을 가능하게 하지만, 정확한 전이 예측만으로는 계획 목적 함수를 쉽게 최적화할 수 있음을 보장하지 못합니다. 본 논문에서는 샘플링 효율적인 계획 수립을 위해 제어 기하학(control geometry)을 직접 직선화하여 플래너 친화적인 표현을 학습하는 단일 보조 손실(loss)인 제어 기하학 직선화(Control-Geometry Straightening, CGS)를 제안합니다. CGS는 픽셀-행동 쌍의 국소 전이만을 사용하여 행동 간의 쌍별 코사인 유사도와 이에 대응하는 잠재 차이 간의 코사인 유사도를 일치시킵니다. 이 손실은 종단간 학습된 표현이나 사전학습된 표현을 활용하는 다양한 월드 모델 아키텍처에 적용될 수 있습니다. 선형 역학 하에서 진행된 이론적 분석에 따르면, 이 목적 함수는 시간적 직선화(temporal straightening) 및 전체 계획 기간에 걸친 보다 균형 잡힌 종단 비용 곡률과 연결되며, 이를 통해 MPPI에 대한 유한 예산 보장, CEM에 대한 국소 수축 결과, 경사하강법(gradient descent)에 대한 수렴(convergence) 한계를 도출합니다. 네 가지 제어 환경과 다양한 플래너에 걸친 실험에서, CGS는 더 적은 샘플 후보와 개선 단계로도 계획 성능을 향상시켰으며, 업데이트당 128개의 후보를 사용하는 샘플링 기반 플래너 환경에서 LeWorldModel(LeWM) 및 시간적 직선화 변형(LeWM+TS) 대비 성공률을 각각 최대 20%포인트 및 12.6%포인트 향상시켰습니다. 프로브, DINO-WM 아키텍처와의 비교, 플래너 측면의 절제 연구를 통해 잠재 모션 구조화, 상태 의존성, 역학적 맥락이 계획 동작을 어떻게 형성하는지 명확히 규명합니다. 결과적으로 제어 기하학을 직선화함으로써 제한된 계획 예산 내에서도 우수한 행동 시퀀스를 더 쉽게 찾을 수 있음을 보여줍니다.

arXiv:2609.32921v2cs.LG공통 태그 Representation Learning, Continuous Control, Model Predictive Control

월드 모델을 위한 적응형 잠재 용량

Adaptive Latent Capacity for World Models

본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.

arXiv:2610.00368v1cs.RO공통 태그 Representation Learning, Continuous Control, Model Predictive Control

DeepJEPA: 내부로부터의 월드 모델 스케일링

DeepJEPA: Scaling World Models from Within

월드 모델(world model) 플래너는 일반적으로 상상된 모든 전이(transition)에 동일한 연산량을 할당하면서 더 먼 단계까지 롤아웃(rollout)하거나, 더 많은 궤적을 샘플링하거나, 더 오래 최적화하는 방식으로 외적 스케일링(scaling outward)을 수행합니다. 본 논문에서는 모든 전이를 일률적으로 더 깊게 만드는 것이 연산량을 낭비하고, 유용한 개선이 소수의 의사결정상 핵심적인(decision-critical) 사건에 집중되어 있기 때문에 플래닝 성능을 저하시킬 수 있음을 보입니다. 이에 따라 전이 깊이를 내부의 테스트 시점 스케일링(test-time scaling) 축으로 취급하고, 각 후보 및 롤아웃 단계마다 추가적인 순환 업데이트를 계산할 가치가 있는 시점을 학습하는 가중치 공유(weight-tied) 결합 임베딩 예측(joint-embedding predictive) 월드 모델인 DeepJEPA를 제안합니다. 다섯 가지 시각 제어 환경에서 DeepJEPA는 전이당 평균 1.00~1.26회의 업데이트만을 수행하면서도 가장 강력한 고정 깊이 플래너의 성능을 능가하거나 대등한 수준을 달성합니다. 추가적인 연산은 접촉 시작 및 지속적인 물체 상호작용에 집중되며, 여기서 잠재 수정(latent correction)은 어떤 후보가 플래너의 엘리트 세트에 진입하고 어떤 행동이 선택되는지를 바꿀 수 있습니다. 또한 표현 프로브(representation probe) 분석을 통해 플래닝 성능 향상이 물체 상태 디코딩 가능성의 일률적인 개선을 필요로 하지 않음을 보입니다. 따라서 DeepJEPA는 월드 모델 스케일링을 플래너의 결정을 바꿀 수 있는 곳에 내부 연산을 할당하는 문제로 재구성합니다. 즉, 모든 롤아웃을 일률적으로 더 깊게 혹은 더 길게 만드는 대신 의사결정상 핵심적인 전이에서 더 깊이 사고하는 것입니다.

arXiv:2610.02626v2cs.CV공통 태그 Representation Learning, Continuous Control

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2610.10646v1cs.RO공통 태그 Continuous Control, Model Predictive Control

기하학 유도 토큰 탐색을 활용한 마스크 생성 모션 플래닝

Masked Generative Motion Planning with Geometry-Guided Token Search

생성형 모션 플래너(generative motion planner)는 일반적으로 초기 생성을 위해 학습된 궤적 사전 분포를 사용하며, 테스트 시점의 복구는 국소적인 연속 개선(refinement)에 맡깁니다. 본 논문에서는 학습된 사전 분포를 효율적인 병렬 생성에서 구조적 복구로 확장하는 마스크 생성 모션 플래닝(Masked Generative Motion Planning, MGMP)을 소개합니다. 마스크 생성 트랜스포머는 이산 궤적 후보들을 병렬로 생성하며, 기하학 유도 토큰 탐색(Geometry-Guided Token Search, GGTS)은 장면 기하학을 활용하여 수정할 위치와 평가할 사전 분포 기반 대안을 타겟팅합니다. 이를 통해 개선 과정을 이산 모션 대안에 대한 효율적인 탐색으로 전환하여, 국소적 궤적 변형을 넘어 경로 수준의 재구성을 가능하게 합니다. MGMP는 Ring Maze에서 96%의 성공률을 달성하고 Kuka의 통제된 경로 무효화(Controlled Route Invalidation)에서 82%의 복구 성공률을 기록하여, 가장 강력한 외부 베이스라인을 각각 23%포인트 및 25%포인트 앞섰습니다. 나아가 보지 못한 배치, 추가 장애물, 보지 못한 기하학적 형태, 단일 및 이중 팔 플래닝, 그리고 실제 Baxter 작업으로도 일반화됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.