arXiv:2610.02508v1 cs.AI

점진적 시각 계획을 결합한 월드 액션 모델링

World Action Modeling with Progressive Visual Planning

Fei Zhang, Zhaochong An, Duncan Frost, Yikai Wang, Pengfei Liu, Ya Zhang, Michal Drozdzal, Amir Bar

제출 2026-10-01

저자 비고

arXiv Comments

Project Page: https://sii-ferenas.github.io/ProWAM-page

한국어 초록

월드 액션 모델(WAM)은 초기 관측값과 지시문으로부터 미래의 시각적 역학(visual dynamics)과 행동(action)을 공동으로 예측함으로써 로봇 제어를 위한 유망한 패러다임으로 부상했습니다. 그러나 밀집된 비디오 롤아웃을 생성하는 것은 비효율성이 매우 높기 때문에 기존 WAM은 장기(long-horizon) 예측에 어려움을 겪습니다. 최근 일부 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하여 이 문제를 해결하고자 하지만, 이러한 접근 방식은 목표를 향해 나아가는 점진적 과정을 간과합니다. 본 논문에서는 행동과 순서화된 희소 시각 하위 목표(sparse visual sub-goals) 시퀀스를 함께 예측하여, 전체 작업 수행 과정 동안 행동 생성을 뒷받침할 명시적인 시각적 가이던스를 제공하는 점진적 월드 액션 모델인 ProWAM을 제안합니다. 하위 목표 예측은 대규모 행동 미포함 비디오(action-free videos)로부터 학습될 수 있어 비디오 백본이 행동 정책으로부터 복잡한 시각적 계획 부담을 덜어줄 수 있으므로, 이 설계는 자연스럽게 확장(scaling)됩니다. 효율적인 행동 생성을 위해 ProWAM은 단 한 번의 비디오 백본 순전파(forward pass)를 실행하여 희소 하위 목표 피처를 캐싱함으로써, 반복적인 전체 비디오 생성을 제거하고 재계획 중에는 경량화된 행동 디노이징만을 요구합니다. 광범위한 평가를 통해 ProWAM은 우수한 분포 외(OOD) 강건성을 달성함을 보여줍니다. 시뮬레이션 벤치마크에서 LIBERO-Plus(85.8%) 및 무작위화된 RoboTwin(75.7%)에서 최고 성능(SOTA)을 새로 기록하며 가장 강력한 기준선(baseline) 대비 최대 +35.9%의 상대적 향상을 보였습니다. RoboCasa365에서는 48.1%의 성공률과 까다로운 Composite-Unseen 분할에서 18.2%를 달성하여 종합 4위를 차지했습니다. 결정적으로 제로샷(zero-shot) 실제 환경 실험에서 ProWAM은 70.0%의 성공률을 달성하여 새로운 환경에서 가장 강력한 기준선 대비 +15.0%포인트(55.0%에서 70.0%로, +27.3% 상대적 향상) 능가했습니다. 이러한 결과는 폐루프(closed-loop) 제어를 위한 진행 상태 기반 시각적 선견(visual foresight)의 가치를 입증합니다. 저희 프로그램은 https://sii-ferenas.github.io/ProWAM-page 에서 확인할 수 있습니다.

원문 초록

World action models (WAMs) have emerged as a promising paradigm for robotic control by jointly predicting future visual dynamics and actions from an initial observation and instruction. However, existing WAMs struggle with long-horizon prediction, as generating dense video rollouts is highly inefficient. Some recent WAMs address this by predicting a single future frame without generating the full video, but this approach neglects how to progress toward the goal. We present ProWAM, a progressive world action model that jointly predicts actions and an ordered sequence of sparse visual sub-goals, providing explicit visual guidance to anchor action generation throughout task execution. This design scales naturally, as sub-goal prediction can be learned from large-scale action-free videos, allowing the video backbone to offload complex visual planning from the action policy. For efficient action generation, ProWAM executes a single video-backbone forward pass to cache sparse sub-goal features, eliminating iterative full-video generation and requiring only lightweight action denoising during replanning. Across extensive evaluations, ProWAM achieves superior out-of-distribution robustness. On simulation benchmarks, it sets new state-of-the-art results on LIBERO-Plus (85.8%) and randomized RoboTwin (75.7%), outperforming the strongest baseline with relative gains of up to +35.9%. On RoboCasa365, ProWAM achieves a 48.1% success rate and 18.2% on the challenging Composite-Unseen split, ranking 4th overall. Crucially, in zero-shot real-world experiments, ProWAM achieves 70.0% success, outperforming the strongest baseline by +15.0 (from 55.0% to 70.0%, a +27.3% relative gain) in novel scenes. These results demonstrate the value of progress-indexed visual foresight for closed-loop control. Our program is in https://sii-ferenas.github.io/ProWAM-page.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02508v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning, Continuous Control, Video Generation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2610.02626v2cs.CV공통 태그 Imitation Learning, Continuous Control, robotic manipulation

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2610.10810v1cs.RO공통 태그 Imitation Learning, Continuous Control, robotic manipulation

장기 작업 스킬 접합부에서의 관측 공간 편차 진단 및 복구

Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams

장기(long-horizon) 로봇 조작은 독립적으로 학습(training)된 스킬들을 연쇄적으로 결합하여 구축되는 경우가 많습니다. 각 스킬은 개별적으로는 안정적일 수 있지만, 스킬들이 연결될 때 성능이 급격히 저하됩니다. 즉, 각 후속 스킬은 자체 학습 분포 대신 선행 스킬이 남겨둔 상태에서 시작해야 하기 때문입니다. 본 연구에서는 이러한 실패 모드인 관측 공간 편차(Observation-Space Shift, OSS)를 연구하고, 스킬 접합부(skill seam) 실패를 유발하는 원인을 파악합니다. 특권 시뮬레이터 리셋을 사용하여 분석한 결과, 지배적인 편차는 로봇의 관절 구성이나 후속 스킬이 조작하는 대상 물체가 아니라, 흐트러진 장면 상태(예: 열린 서랍이나 이전 스킬들이 남겨둔 부차적 물체)에서 비롯된다는 점을 발견했습니다. 이러한 진단을 검증하기 위해 완전 학습 기반의 탐지-복원-재개(detect-restore-resume) 시스템을 구축했습니다. 작업 진행 모니터가 정체 상태를 탐지하고, 학습된 정책이 흐트러진 장면 구성요소를 복원하며, 접합부 강건 미세조정(fine-tuning)을 통해 스킬을 재개합니다. 이 시스템은 테스트된 다른 모든 대안이 실패한 접합부를 복구하며, 저자들은 이를 범용적인 방법론이라기보다 해당 진단을 뒷받침하는 증거로 간주합니다. BOSS-44 벤치마크(benchmark)에서 이 시스템은 전체 체인 성공률을 7.6%에서 26.5%로 향상시켜 기본 정책 대비 3.5배의 개선 및 특권 복원 오라클 대비 51%의 성능을 달성한 반면, best-of-K 재샘플링, Diffusion Policy 및 월드 모델(world-model) 베이스라인은 평가된 접합부 상태에서 복구에 실패했습니다. 미세조정된 $π_{0.5}$ 정책으로 구동되는 실제 Franka 로봇 팔의 경우, 동일한 모니터가 외부 카메라의 관측 가능성에 의해 제약을 받지만 루프를 닫음으로써 복구 불가능했을 일부 실패를 복구할 수 있었으며, 이는 손목 및 그리퍼 센싱의 필요성을 시사합니다. 이러한 결과는 일부 장기 결합 실패의 경우, 지지 집합을 벗어난(off-support) 상태에서 재시도하는 것보다 정책을 재개하기 전에 장면을 먼저 복원함으로써 더 효과적으로 해결될 수 있음을 보여줍니다.

arXiv:2608.22364v2cs.AI공통 태그 Imitation Learning, Continuous Control, Video Generation

WAM-OPD: 온-정책 증류를 통한 월드 액션 모델 사후 학습을 위한 비디오-액션 공동 지도

WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation

월드 액션 모델(World Action Model, WAM)은 미래 비디오와 로봇 액션을 모두 생성하여 사후 학습(post-training) 지도를 위한 두 가지 연결된 출력을 제공합니다. 사전 학습된 WAM은 실행 중에 마주치는 이력에 대해 더 강력한 교사(Teacher) 모델로부터 어떻게 학습할 수 있을까요? 본 논문에서는 학생(Student) 모델의 롤아웃(rollout) 이력을 수집하고 교사 모델에 쌍을 이루는 비디오 및 액션 타깃을 질의하는 WAM-OPD를 제시합니다. 학생 모델은 배포 시 1단계 비디오 및 액션 생성을 유지하면서 두 타깃 모두로부터 학습합니다. 12개의 RoboTwin 2.0 태스크 전반에서 WAM-OPD는 평균 성공률을 33.8%에서 65.7%로 향상시켰으며, 4개의 실제 로봇 태스크에서는 평균 성공률을 51.4%에서 64.6%로 끌어올렸습니다. 수집된 학생 모델의 이력을 고정한 상태에서, 비디오-액션 공동 지도는 세 가지 절제 연구 태스크 모두에서 가장 높은 관찰 성공률을 달성한 반면, 두 모달리티 중 어느 하나만 단독으로 사용해도 성능이 향상되었습니다. 교사 모델이 생성한 이력과의 별도 비교에서는 두 이력 출처 간에 태스크에 따른 차이가 있음을 확인했습니다. 이러한 결과는 배포 시의 샘플링 예산을 늘리지 않고도 WAM 정책을 개선하는 데 있어 쌍을 이루는 비디오-액션 지도의 유용성을 입증합니다.

arXiv:2610.03333v1cs.RO공통 태그 Imitation Learning, Continuous Control, robotic manipulation

접촉이 빈번한 조작을 위한 동변 시각-촉각 확산 정책

Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation

접촉이 빈번한 조작(contact-rich manipulation)을 위한 모방 학습(imitation learning)은 획득 비용이 높은 고품질 전문가 데이터를 필요로 합니다. 이에 따라 샘플 효율적인(sample-efficient) 정책을 학습하는 것이 핵심 과제가 됩니다. 이를 해결하기 위해, 본 논문에서는 데이터 효율적인 접촉 빈번 조작 모방 학습을 위한 작업공간 수준의 동변(equivariant) 시각-촉각 확산 정책인 VISTA를 제안합니다. VISTA는 시각 및 촉각 관측값을 구면 토큰(spherical token)으로 투영하고, 순열-동변 구면 융합(permutation-equivariant spherical fusion)을 통해 시각 구면 방향에 촉각 접촉 단서를 주입하며, 말단 장치(end-effector)의 방향을 이용해 융합된 조화 표현(harmonic representation)을 회전시킵니다. 생성된 표현은 동변 확산 정책(equivariant diffusion policy)의 조건으로 사용되어 공간적으로 일관된 행동을 예측합니다. 시뮬레이션 및 실제 로봇 환경 모두에서 수행된 광범위한 실험은 VISTA가 강력한 시각-촉각 모방 학습 베이스라인들에 비해 데이터 효율성을 크게 향상시킴을 보여줍니다. 프로젝트 웹사이트: https://vista-paper.github.io/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.