CtrlWAM: 의도와 예측이 정렬된 제어 가능한 월드 액션 모델(World Action Model)
CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight
한국어 초록
월드 액션 모델(World Action Model, WAM)은 행동(의도)과 시각적 미래(예측, foresight)를 동시에 예측한다. 표준적인 학습 방식은 기록된 행동과 비디오에 동시에 노이즈를 추가하지만, 이러한 학습 방식은 불일치(mismatch)를 유발한다: 교란된 행동은 반사실적(counterfactual) 미래 시각 정보를 암시하지만, 노이즈가 추가된 비디오는 여전히 실제 기록(GT recording)에 묶여 있다. 저노이즈(low-noise) 구간에서는 노이즈가 추가되었음에도 장면 기하 구조(scene geometry)와 동적 행동(dynamic behavior)까지도 노이즈가 섞인 미래 프레임에서 명확하게 보인다. 우리는 시뮬레이터에서 교란된 행동을 실행하고 이를 해당 행동에 따른 노이즈가 섞인 시각적 결과와 짝지어 WAM을 공동 학습시키는 CtrlWAM을 제시한다. 비디오와 행동이 서로 다른 디노이징(denoising) 요구사항을 갖는다는 점을 수용하기 위해, 우리는 행동 예측이 진행됨에 따라 시각적 레이아웃이 이에 반응하도록 유지하는 것을 목표로 하는 왜곡된(warped) 비디오-행동 노이즈 스케줄을 도입한다. 또한 우리는 행동 인터페이스를 자기 차량(ego) 전용 제어에서 가변 개수의 에이전트(agent) 스트림으로 확장하여, 단일 통합 모델이 여러 에이전트에 대한 예측되거나 명령된 미래를 표현할 수 있도록 한다. 주행(driving) 실험에서는 더 정확한 행동 예측, 생성된 비디오와 행동 간의 더 긴밀한 일치, 그리고 주어진 명령을 더 잘 따르는 결과를 보였으며, 로보틱스(robotics) 실험에서는 더 강한 동작 충실도(motion fidelity)와 제어 가능성(controllability)을 보였다. 매칭된 대조 실험(matched controls)은 명령 추종(command following)과 조작 충실도(manipulation fidelity) 측면에서 경로 이탈(off-path) 렌더링의 이점을 지지한다. 이러한 결과들은 종합적으로 더 제어 가능한 월드 액션 모델에 기여한다. 프로젝트 페이지: https://ctrl-wam.github.io/
원문 초록
World action models (WAMs) jointly predict actions (intent) and visual future (foresight). Standard training adds noise to recorded actions and video simultaneously, but such training paradigms introduce a mismatch: perturbed actions imply counterfactual future visual, while the noised video remains tied to the GT recording. In low-noise regime, the scene geometry and even the dynamic behavior remain clearly visible from the noisy future frames despite the added noise. We present CtrlWAM, which executes perturbed actions in a simulator and pairs them with their noised visual consequences for joint WAM learning. To accommodate the different denoising requirements of video and actions, we introduce warped video--action noise schedules that aim to keep visual layout responsive as action predictions evolve. We further extend the action interface from ego-only control to a variable number of agent streams, allowing a unified model to represent predicted or commanded futures for multiple agents. Driving experiments show more accurate action forecasts, closer agreement between generated video and actions, and better following of supplied commands; robotics experiments show stronger motion fidelity and controllability. Matched controls support the benefit of off-path renders for command following and manipulation fidelity. Together, these findings contribute to a more controllable world action model. Project page: https://ctrl-wam.github.io/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상
GlanceWAM: Sparse Test-Time Imagination for World-Action Models
FutureWorlds: 대안적 미래로부터 로봇 월드 모델 학습하기
FutureWorlds: Learning Robotic World Models from Alternative Futures
로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.
InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델
InternW0: A Foundational Physical World Model for Efficient Real-World Interactions
물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.
AffordanceWAM: 로봇 조작을 위한 어포던스 인식 세계-행동 공동 모델링
AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://ctrl-wam.github.io/