PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.19957v2cs.CV

장기 내비게이션-조작 태스크의 체화된 비디오 생성을 위한 월드-에고 모델링

World-Ego Modeling for Embodied Video Generation in Long-Horizon Navigation-Manipulation Tasks

체화된(embodied) 비디오 월드 모델은 일반적으로 장면의 변화와 로봇의 행동을 모두 포착하며, 본 논문에서는 이를 각각 '월드(world)'와 '에고(ego)'로 지칭합니다. 월드와 에고는 서로 다른 기저 역학(dynamics)을 나타냅니다. 월드 예측은 주로 시각적 이력에 의존하며 장면의 안정성을 강조하는 반면, 에고 예측은 현재 지시어에 더 강하게 의존하며 정확한 지시 이행을 강조합니다. 단일 생성 스트림 내에서 두 요소를 모두 모델링하면 이러한 서로 다른 의존성이 얽혀 어느 한 구성 요소의 예측을 특화하기 어려워질 수 있습니다. 결과적으로, 특히 긴 주기(long-horizon)의 내비게이션-조작 태스크에서 장면의 일관성과 정확한 지시 이행을 동시에 유지하기가 어려워집니다. 본 논문에서는 체화된 비디오를 월드와 에고로 분해하고 이들의 생성 과정을 분리(disentangle)할 것을 제안합니다. 구체적으로, 월드는 배경 및 현재 조작되지 않는 객체로 정의하고, 에고는 로봇 및 현재 조작 중인 객체로 정의합니다. 이러한 정의를 기반으로, 역할 조건부 어텐션(role-conditioned attention, RCA) 및 비대칭 쿼리 예산을 사용하는 비전-언어 상태 예측기와 시맨틱 라우팅 전문가 혼합(SR-MoE) 확산 생성기를 결합한 '월드-에고 모델(World-Ego Model, WEM)'을 개발합니다. 또한 엄밀한 평가를 위해, 복합 내비게이션-조작 태스크를 갖춘 장기 체화 비디오 생성을 위한 데이터셋이자 벤치마크인 HTEWorld를 구축하여 세분화된 지시어가 포함된 450만 개 이상의 프레임으로 구성된 12만 5천 개의 학습 비디오 클립과 2천 개 이상의 지시어를 포괄하는 300개의 다중 턴 평가 궤적을 제공합니다. 광범위한 실험을 통해 WEM이 기존 조작 중심 평가에서 경쟁력을 유지하면서 HTEWorld에서 최고 수준의 성능(SOTA)을 달성함을 보입니다.