PointZero: 전이 가능한 3D 동역학 학습을 위한 3D 포인트 트랙 완성
PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics
한국어 초록
월드 모델(world model)은 지각 시스템에 상호작용에 따라 장면이 어떻게 변화하는지를 예측하는 능력을 부여한다. 월드 모델은 다양한 양의 데이터로 학습되었을 때 가장 큰 이점을 가지며, 이를 통해 다운스트림 응용에 풍부한 사전 지식(prior)을 심어줄 수 있다. 기존 방법들은 행동 조건화된(action-conditioned) 3D 동역학을 학습하기 위해 일반적으로 로봇 행동 레이블을 필요로 하며, 이는 웹 비디오 데이터를 학습 풀에서 제외시킨다. 우리는 로봇 데이터 없이 전이 가능한 3D 동역학을 학습하기 위한 사전학습 목표로서 3D 포인트 트랙 완성을 연구한다. 단일 RGB-D 관측과 희소한 부분 3D 궤적(트랙)이 주어졌을 때, 우리는 관측된 모든 점들의 미래 3D 트랙을 예측한다. 우리는 이 목표가 로봇 행동 레이블을 필요로 하지 않고도 풍부한 3D 동역학 사전 지식을 생성함을 보인다. 우리는 변형 가능한(deformable), 관절형(articulated), 그리고 견고한(rigid) 객체를 포괄하는 290만 개의 합성 프레임으로 구성된 다양한 데이터셋을 제공하며, 이를 사용해 PointZero를 학습시킨다. 우리는 유연하고 표현력이 풍부한 트랜스포머인 PointZero가 동일한 데이터에서 기존 방법들을 능가함을 보인다. 우리는 PointZero를 두 가지 다운스트림 응용, 즉 (1) 행동 조건화된 3D 동역학 예측과 (2) 모방 학습(imitation learning)을 위해 사후 학습함으로써 우리의 사전학습 목표의 유용성을 입증한다. 엔드이펙터(end-effector) 자세를 조건으로 하도록 파인튜닝되었을 때, PointZero는 최근의 PGND 3D 동역학 벤치마크에서 베이스라인들을 능가한다. 로봇 행동과 3D 트랙을 예측하도록 파인튜닝되었을 때, PointZero는 7개 중 6개의 시뮬레이션 및 실제 로봇 조작 과업에서 베이스라인들을 능가하거나 동등한 성능을 보인다. 우리는 또한 제안한 아키텍처의 이점과 제안한 사전학습 목표 및 데이터셋의 이점을 분리하기 위해 PointZero를 처음부터(from scratch) 학습시키는 실험도 평가한다. 우리는 데이터셋, 체크포인트, 그리고 전체 학습 레시피를 공개한다.
원문 초록
World models endow perceptual systems with the ability to predict how scenes evolve under interaction. They are most beneficial when trained on diverse volumes of data, to instill a rich prior into downstream applications. Existing methods typically require robot action labels to learn action-conditioned 3D dynamics, which excludes web video data from the training pool. We study 3D point track completion as a pre-training objective for learning transferable 3D dynamics without robot data. Given a single RGB-D observation and sparse partial 3D trajectories (tracks), we predict future 3D tracks of all observed points. We show this objective produces a rich 3D dynamics prior, without requiring robot action labels. We contribute a diverse dataset of 2.9 million synthetic frames spanning deformable, articulated, and rigid objects, and use it to train PointZero. We show that a flexible and expressive transformer, PointZero, outperforms prior methods on the same data. We demonstrate the utility of our pre-training objective by post-training PointZero for two downstream applications: (1) action-conditioned 3D dynamics prediction and (2) imitation learning. When fine-tuned to condition on end-effector pose, PointZero outperforms the baselines on the recent PGND 3D dynamics benchmark. When fine-tuned to predict robot actions and 3D tracks, PointZero outperforms or matches the baselines on 6/7 simulated and real-world robot manipulation tasks. We furthermore evaluate training PointZero from scratch to isolate the benefits of our proposed architecture from those of our proposed pre-training objective and dataset. We release the dataset, checkpoints, and full training recipe.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가우시안이면 충분하다: 대규모 행동 모델(LBM) 미세조정에서 플로우 매칭 사전분포는 도움이 되지 않는다
The Gaussian Is Enough: Flow-Matching Priors Do Not Help When Fine-Tuning Large Behavior Models
현대 로봇 모방 학습은 확산(diffusion) 또는 플로우 매칭(flow-matching) 모델에 기반한 생성 정책에 점점 더 의존하며, 이러한 정책은 사전분포(prior distribution)에서 샘플을 변환하여 행동을 생성한다. 핵심 질문은 사전분포 선택이 중요한지 여부이다. 표준 가우시안을 목표에 더 가까운 비가우시안 사전분포로 대체하는 것은 처음부터 학습할 때 성능을 크게 향상시키는 것으로 보여 왔다. 자연스러운 다음 단계는 이러한 이득이 LBM 1.0, $\pi_{0.5}$, GR00T~N1.5와 같은 사전학습된 대규모 행동 모델(LBM)의 미세조정으로 이어지는지, 더 큰 이득이 기대될 수 있는 상황에서도 그런지 묻는 것이다. 놀랍게도 우리는 매우 낮은 미세조정 데이터 비율에서만 그럴 가능성이 있을 뿐, 그렇지 않다는 것을 발견했다. 두 시뮬레이션 플랫폼의 40개 이상 과제에서 앞서 언급한 세 LBM 전반에 걸친 10만 회 이상의 시뮬레이션 롤아웃, 그리고 양손 조작 다섯 과제에서 1250회의 하드웨어 롤아웃에 걸쳐, 목표에 demonstrably 더 가까운 비가우시안 사전분포는 표준 가우시안 사전분포보다 통계적으로 구별되지 않거나 더 나쁜 미세조정 성능을 낸다. 진단 분석은 그 이유를 시사한다. 미세조정된 모방 학습 정책은 사전분포마다 미세조정된 인코더 임베딩(embedding)이 사전학습 임베딩 및 서로 간에 크게 달라지는데도 불구하고, 유사한 행동 예측으로 수렴한다. 학습률 ablation은 또한 인코더 학습이 미세조정 성능의 지배적 요인이며 사전분포 선택의 효과를 크게 상회함을 확인한다. 우리는 미세조정에서 학습된 사전분포가 언제·왜 여전히 중요할 수 있는지에 대한 향후 연구의 구체적 방향으로 마무리한다. 프로젝트 페이지: https://cxu-tri.github.io/non_gaussian_FT/
행동을 위한 올바른 미래: 세계 행동 모델에서 행동 관련 예측 상태 학습
The Right Future for Action: Learning Action-Relevant Predictive States in World Action Models
생성 과정이 필요 없는 세계 행동 모델(World Action Model, WAM)은 학습(training) 중에는 미래 비디오 예측을 유지하지만, 추론(inference) 시에는 내부 비디오 특징(feature)을 바탕으로 행동합니다. 그러나 제어를 위해 이러한 특징이 무엇을 보존해야 하는지는 여전히 불분명합니다. 본 연구의 표현 진단 결과에 따르면, 미래 변화를 더 잘 예측할 수 있는 표현이라 하더라도 선형 행동 디코딩을 반드시 더 쉽게 만드는 것은 아니었습니다. 관측된 미래 변화는 현재를 넘어서는 추가적인 행동 정보를 제공하며, 선형적으로 읽을 수 있는 행동 정보는 공간적으로 집중되어 있습니다. 이러한 발견을 바탕으로 비디오 전문가와 행동 전문가 사이의 컴팩트한 예측 인터페이스인 ARPS(Action-Relevant Predictive States)를 제안합니다. ARPS는 시계(horizon) 조건부 상태 예측기를 사용하여 중간 비디오 특징들을 컴팩트한 상태로 집약하며, 이 상태는 행동 전문가에게 모든 시각적 컨텍스트를 제공합니다. 미래 표현 지도(supervision)는 이 상태의 서로 다른 부분이 현재 대비 변화와 함께 서로 다른 미래 시점의 시각적 표현을 예측하도록 학습시킵니다. 추론 시에는 지도 브랜치가 제거되며, 행동 전문가는 현재 관측으로부터 계산된 학습된 예측 상태만을 사용합니다. 통제된 절제 연구(ablation)는 미래 지도가 분포 변화(distribution shift) 하에서의 일반화 성능을 크게 향상시킴을 보여줍니다. ARPS는 LIBERO에서 99.2%의 성공률을 달성했으며, 추가 적응(adaptation) 없이 LIBERO-Plus로 전이되어 87.3%에 도달하며 Fast-WAM을 39.2%포인트 앞섰습니다.
MaskVLA: Vision-Language-Action 모델의 궤적 과적합에 대응하는 시각적 마스킹
MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model
Vision-Language-Action(VLA) 모델은 시각-언어 이해와 실행 가능한 로봇 행동을 통합하여 로봇 제어를 위한 종단간(end-to-end) 학습을 가능하게 한다. 그러나 우리의 실증 분석에 따르면, 기존 모델들은 제한된 데이터셋으로 파인튜닝(fine-tuning)될 때 심각한 궤적 과적합(trajectory overfitting)을 보인다. 모델이 손목 카메라 정보를 효과적으로 활용하도록 유도하기 위해, 우리는 마스킹 기반 파인튜닝 전략인 MaskVLA를 제안한다. 메인 카메라의 시각 정보 중 일부를 무작위로 마스킹함으로써, 모델은 보다 세밀하고 과제와 관련성이 높으며 효과적인 시각적 특징을 자율적으로 학습하도록 유도된다. 이 과정은 강건한 정책(policy)의 출현으로 이어지며, 이를 통해 복잡한 조작(manipulation) 과제를 처리하는 모델의 능력을 향상시키고 일반화 성능을 개선한다. 우리의 방법은 RoboTwin 2.0에서 종합적으로 평가되었으며, $\pi_0$ 및 OpenVLA-OFT 대비 각각 평균 23.2%, 16.8%의 성공률 향상을 달성했다. 또한 실제 ALOHA 로봇을 이용한 실험에서도 우리 접근법의 효과가 입증되었다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
https://pointzero-wm.github.io/