CLAP: 크로스-엠보디먼트 영상 월드 모델은 제로샷 물리 시뮬레이터
CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators
한국어 초록
최신 행동 조건(action-conditioned) 영상 모델은 일반적으로 단일 로봇 엠보디먼트(embodiment)에 제한되어, 일반화 가능한 물리 학습을 위한 풍부한 신호를 담고 있는 이질적인 대규모 영상 데이터를 활용하지 못한다. 이 간극을 메우기 위해, 우리는 인간 및 로봇 에이전트에 걸친 다양한 인터넷 규모의 영상으로 학습할 수 있는 크로스-엠보디먼트 행동 조건 영상 생성 프레임워크인 CLAP를 제안한다. CLAP는 행위자와 관계없이 보편적 물리 법칙이 시공간 역학을 지배한다는 통찰에 그라운딩(grounding)되어 있다. 그러나 로봇 플랫폼마다 행동 표현이 크게 달라지고 인간 영상에는 일반적으로 존재하지 않기 때문에, 크로스-엠보디먼트 학습은 쉽지 않다. CLAP는 다음 핵심 기여를 통해 이 근본적 과제를 해결한다. 첫째, CLAP는 엔드 이펙터(end-effector) 자세, 언어 지시, 잠재 행동(latent actions)을 사용하여 서로 다른 행동 공간을 조화시킨다. 둘째, 각 접근의 개별 한계를 해결하기 위해 CLAP는 잠재 행동으로 라벨 없는 영상 데이터 전반에 걸친 기초 물리 사전(prior)을 먼저 학습한 뒤, 이를 엔드 이펙터 행동 공간에 그라운딩하여 실제 과제에 제로샷(zero-shot) 배포할 수 있도록 하는 커리큘럼 기반 크로스-엠보디먼트 학습 방법을 도입한다. 중요하게도, CLAP는 DROID와 같은 도전적인 환경에서 최신 단일-엠보디먼트 영상 모델에 근접하거나 이를 능가한다. 이러한 성능 이점은 퓨샷(few-shot) 적응을 통해 더해져 단일-엠보디먼트 영상 월드 모델 학습을 위한 새로운 패러다임을 확립한다. 궁극적으로 CLAP는 엔드 이펙터, 언어, 잠재 등 다양한 행동 조건 공간과 크로스-엠보디먼트, DROID, Bridge, 양손 YAM 로봇, G1 휴머노이드 등 다양한 로봇 형태(morphology)를 아우르는, 지금까지 가장 포괄적인 행동 조건 영상 월드 모델 모음을 제공한다. 모든 코드와 모델을 오픈소스로 공개한다. 프로젝트 웹사이트: https://omni-clap.github.io .
원문 초록
State-of-the-art action-conditioned video models are typically restricted to a single robot embodiment, preventing them from leveraging the vast corpus of heterogeneous video data that contains rich signals for learning generalizable physics. To bridge this gap, we introduce CLAP, a framework for cross-embodiment action-conditioned video generation capable of being trained on diverse, internet-scale videos across human and robotic agents. CLAP is grounded in the insight that universal physical laws govern spatiotemporal dynamics regardless of the actor. However, cross-embodiment learning is non-trivial because action representations vary sharply across robot platforms and are typically absent in human videos. CLAP addresses this fundamental challenge through the following core contributions. First, CLAP reconciles disparate action spaces using end-effector poses, language instructions, and latent actions. Second, to resolve their individual limitations, CLAP introduces a curriculum-based cross-embodiment learning recipe that first learns foundational physical priors across unlabeled video data using latent actions and subsequently grounds them in end-effector action spaces for zero-shot deployment to real-world tasks. Crucially, CLAP approaches or surpasses state-of-the-art single-embodiment video models in challenging environments like DROID. These performance advantages compound via few-shot adaptation to establish a novel paradigm for training single-embodiment video world models. Ultimately, CLAP delivers the most comprehensive suite of action-conditioned video world models to date - spanning diverse action-conditioning spaces (end-effector, language, and latent) and robot morphologies (including cross-embodiment, DROID, Bridge, bimanual YAM robots, and G1 humanoids). We open-source all code and models. Project Website at https://omni-clap.github.io .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.27406v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.