과거 행동 궤적으로부터 스킬 학습하기: 월드 액션 모델을 위한 행동 경험 딕셔너리
Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models
한국어 초록
월드 액션 모델(WAMs)은 시각적 역학 예측과 행동 생성을 결합하지만, 여러 조작 작업 전반에 걸친 행동 경험의 재사용을 명시적으로 지원하지는 않습니다. 나아가 기존 WAM은 불필요한 배경 요소가 핵심 시각 정보 추출을 방해하기 때문에, 목표 행동 예측을 유도할 수 있는 작업 간 기저 시맨틱 관계를 포착하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 과거의 물리적 행동 궤적을 공유된 행동 임베딩으로 인코딩하여 스킬 재사용을 지원하고 작업 간 관계를 모델링하는 새로운 행동 경험 딕셔너리(AED)를 개발합니다. 구체적으로, 먼저 시각적 관찰과 정렬되도록 과거 행동을 집계하고 사전학습된 행동 토크나이저를 사용해 AED에서 행동 임베딩을 검색합니다. 이후 크로스 어텐션(cross-attention)을 통해 풀링된 임베딩에 시각적 조건을 부여하고 이를 노이즈가 있는 행동 토큰 앞에 덧붙여 예측을 위한 상호작용 컨텍스트와 행동 의도를 제공합니다. 또한 행동과 관련된 움직임을 모델링하고 무관한 배경 단서에 대한 의존도를 낮추기 위해, 무작위 시간 간격에 따른 시각적 특징 변화 예측을 지도하는 동작 인식 전이 손실(motion-aware transition loss)을 도입합니다. 시뮬레이션 벤치마크와 실제 환경의 크로스 임바디먼트(cross-embodiment) 설정에서 수행한 실험을 통해 제안하는 AED의 유효성을 검증합니다. 프로젝트 코드는 https://github.com/JiahuaDong/AED 에서 확인할 수 있습니다.
원문 초록
World Action Models (WAMs) couple visual dynamics prediction with action generation, yet they do not explicitly support the reuse of action experience across manipulation tasks. Furthermore, existing WAMs struggle to capture underlying cross-task semantic relationships that could guide target action prediction, as redundant background elements interfere with the extraction of key visual information. To address these challenges, we develop a novel Action Experience Dictionary (AED) that encodes historical physical action trajectories into shared action embeddings to support skill reuse and model cross-task relationships. Specifically, we first aggregate historical actions to align with visual observations and retrieve action embeddings from the AED using a pretrained action tokenizer. Subsequently, we visually condition the pooled embeddings through cross-attention and prepend them to noisy action tokens, providing interaction context and action intent for prediction. To model action-related motion and reduce reliance on irrelevant background cues, we introduce a motion-aware transition loss that supervises visual feature change prediction over random temporal intervals. Experiments on simulation benchmarks and in real-world cross-embodiment settings verify the effectiveness of our AED. The project code is available at https://github.com/JiahuaDong/AED .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Faster-WAM: 월드 액션 모델에 딥 액션 모듈이 필요한가?
Faster-WAM: Do World Action Models Need Deep Action Modules?
월드 액션 모델(World Action Model, WAM)은 사전학습(pre-training)된 비디오 모델을 기반으로 구축되며, 물리적 동역학에 그라운딩(grounding)된 비디오 모델의 표현은 행동 예측을 위한 자연스러운 토대를 제공합니다. 이러한 자연스러운 토대에도 불구하고, 많은 WAM은 여전히 높은 추론(inference) 지연 시간을 유발하고 제한된 로봇 시연 데이터에 과적합될 수 있는 깊고 매개변수(parameter)가 많은 행동 예측 모듈에 의존하여 실제 환경 적용성이 제한됩니다. 본 논문에서는 용량과 연산을 비디오 월드 모델에 집중시키는 한편, 경량 액션 전문가가 백본의 표현을 실행 가능한 로봇 행동으로 변환하도록 하는 월드 모델 중심의 원칙을 제안합니다. 우리는 세 가지 핵심 선택을 통해 이 원칙을 구현합니다. 첫째, 얕고 가벼운 액션 전문가가 모든 비디오 층(layer)의 표현에 접근할 수 있도록 하는 Lite KV-Fusion 기반의 Dock of Transformers(DoT), 둘째, 액션 전문가에 대한 월드 모델 전용 조건화, 셋째, 비디오 키(key)와 액션 쿼리(query) 간의 위치 정렬을 위한 retracted 1D-RoPE입니다. 우리는 단일 층 액션 전문가만을 갖춘 월드 모델 중심 WAM인 Faster-WAM을 통해 이 원칙을 검증합니다. 행동 전용 연산에 대한 이러한 제약에도 불구하고, Faster-WAM은 추가적인 임바디드 사전학습 없이도 LIBERO 및 RoboTwin 2.0에서 경쟁력 있는 제어 성능을 달성합니다. 또한 Fast-WAM 대비 약 $3.7\times$, $π_{0.5}$ 대비 약 $1.3\times$의 추론 속도 향상을 제공합니다. 월드 모델 중심 설계와 일관되게, Faster-WAM은 분포 변화(distribution shift) 하에서 더 뛰어난 일반화 능력을 보입니다. 동일한 LIBERO 학습(training) 정책이 LIBERO-Plus에서 $78.3\%$의 성공률을 달성하여 Fast-WAM과 LingBot-VA를 각각 $26.8$ 및 $8.8$ 퍼센트포인트 상회합니다. 마지막으로, 실제 로봇 실험을 통해 Fast-WAM에 필적하는 성공률을 달성하면서도 훨씬 낮은 추론 지연 시간과 더 짧은 작업 완료 시간을 입증합니다.
WAM-OPD: 온-정책 증류를 통한 월드 액션 모델 사후 학습을 위한 비디오-액션 공동 지도
WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation
월드 액션 모델(World Action Model, WAM)은 미래 비디오와 로봇 액션을 모두 생성하여 사후 학습(post-training) 지도를 위한 두 가지 연결된 출력을 제공합니다. 사전 학습된 WAM은 실행 중에 마주치는 이력에 대해 더 강력한 교사(Teacher) 모델로부터 어떻게 학습할 수 있을까요? 본 논문에서는 학생(Student) 모델의 롤아웃(rollout) 이력을 수집하고 교사 모델에 쌍을 이루는 비디오 및 액션 타깃을 질의하는 WAM-OPD를 제시합니다. 학생 모델은 배포 시 1단계 비디오 및 액션 생성을 유지하면서 두 타깃 모두로부터 학습합니다. 12개의 RoboTwin 2.0 태스크 전반에서 WAM-OPD는 평균 성공률을 33.8%에서 65.7%로 향상시켰으며, 4개의 실제 로봇 태스크에서는 평균 성공률을 51.4%에서 64.6%로 끌어올렸습니다. 수집된 학생 모델의 이력을 고정한 상태에서, 비디오-액션 공동 지도는 세 가지 절제 연구 태스크 모두에서 가장 높은 관찰 성공률을 달성한 반면, 두 모달리티 중 어느 하나만 단독으로 사용해도 성능이 향상되었습니다. 교사 모델이 생성한 이력과의 별도 비교에서는 두 이력 출처 간에 태스크에 따른 차이가 있음을 확인했습니다. 이러한 결과는 배포 시의 샘플링 예산을 늘리지 않고도 WAM 정책을 개선하는 데 있어 쌍을 이루는 비디오-액션 지도의 유용성을 입증합니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
CLAP: 언어-행동 그라운딩을 통한 직접적인 VLM-to-VLA 적응
CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding
로봇 렌더링을 통한 로봇 요인 분리 월드 모델
Robot-Factored World Models via Robot Rendering
토론
이 논문과 연결된 포럼 글이 아직 없습니다.