arXiv:2605.19957v2 cs.CV

장기 내비게이션-조작 태스크의 체화된 비디오 생성을 위한 월드-에고 모델링

World-Ego Modeling for Embodied Video Generation in Long-Horizon Navigation-Manipulation Tasks

Zuyao Lin, Jianhui Zhang, Peidong Jia, Xiaoguang Zhao, Shanghang Zhang, Jingdong Wang, Xingyu Chen

제출 2026-05-19

한국어 초록

체화된(embodied) 비디오 월드 모델은 일반적으로 장면의 변화와 로봇의 행동을 모두 포착하며, 본 논문에서는 이를 각각 '월드(world)'와 '에고(ego)'로 지칭합니다. 월드와 에고는 서로 다른 기저 역학(dynamics)을 나타냅니다. 월드 예측은 주로 시각적 이력에 의존하며 장면의 안정성을 강조하는 반면, 에고 예측은 현재 지시어에 더 강하게 의존하며 정확한 지시 이행을 강조합니다. 단일 생성 스트림 내에서 두 요소를 모두 모델링하면 이러한 서로 다른 의존성이 얽혀 어느 한 구성 요소의 예측을 특화하기 어려워질 수 있습니다. 결과적으로, 특히 긴 주기(long-horizon)의 내비게이션-조작 태스크에서 장면의 일관성과 정확한 지시 이행을 동시에 유지하기가 어려워집니다. 본 논문에서는 체화된 비디오를 월드와 에고로 분해하고 이들의 생성 과정을 분리(disentangle)할 것을 제안합니다. 구체적으로, 월드는 배경 및 현재 조작되지 않는 객체로 정의하고, 에고는 로봇 및 현재 조작 중인 객체로 정의합니다. 이러한 정의를 기반으로, 역할 조건부 어텐션(role-conditioned attention, RCA) 및 비대칭 쿼리 예산을 사용하는 비전-언어 상태 예측기와 시맨틱 라우팅 전문가 혼합(SR-MoE) 확산 생성기를 결합한 '월드-에고 모델(World-Ego Model, WEM)'을 개발합니다. 또한 엄밀한 평가를 위해, 복합 내비게이션-조작 태스크를 갖춘 장기 체화 비디오 생성을 위한 데이터셋이자 벤치마크인 HTEWorld를 구축하여 세분화된 지시어가 포함된 450만 개 이상의 프레임으로 구성된 12만 5천 개의 학습 비디오 클립과 2천 개 이상의 지시어를 포괄하는 300개의 다중 턴 평가 궤적을 제공합니다. 광범위한 실험을 통해 WEM이 기존 조작 중심 평가에서 경쟁력을 유지하면서 HTEWorld에서 최고 수준의 성능(SOTA)을 달성함을 보입니다.

원문 초록

Embodied video world models typically capture both scene evolution and the robot's behavior, which we refer to as the \emph{world} and the \emph{ego}, respectively. The world and the ego exhibit different underlying dynamics: world prediction relies primarily on visual history and emphasizes scene stability, whereas ego prediction relies more strongly on the current instruction and emphasizes accurate instruction following. Modeling both components within a single generation stream can entangle these different dependencies, making it difficult to specialize the prediction of either component. Consequently, it becomes difficult to simultaneously maintain scene consistency and accurate instruction following, particularly in long-horizon navigation-manipulation tasks. In this paper, we propose to decompose an embodied video into the world and the ego and disentangle their generation processes. Specifically, we define the world as the background and currently unmanipulated objects, and the ego as the robot and currently manipulated objects. Based on this definition, we develop the \emph{World-Ego Model} (WEM), which combines a vision-language state predictor using role-conditioned attention (RCA) and asymmetric query budgets with a semantic-routed mixture-of-experts (SR-MoE) diffusion generator. To enable rigorous evaluation, we further construct HTEWorld, a dataset and benchmark for long-horizon embodied video generation with hybrid navigation-manipulation tasks, providing 125K training video clips comprising over 4.5M frames with fine-grained instructions, together with 300 multi-turn evaluation trajectories covering over 2K instructions. Extensive experiments show that WEM achieves state-of-the-art performance on HTEWorld while remaining competitive on existing manipulation-oriented evaluations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.19957v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10787v1cs.RO공통 태그 Instruction Following, embodied ai

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

arXiv:2610.11037v1cs.CV공통 태그 Instruction Following, Video Generation

이미지 편집기를 비디오 편집기로 변환하기

Transforming Image Editors into Video Editors

최근 이미지 편집 시스템은 뛰어난 의미론적 이해도, 시각적 충실도, 지시어 추종(instruction-following) 능력을 달성했으나, 비디오 편집은 여전히 훨씬 더 어렵고 비용이 많이 듭니다. 본 논문에서는 엔드투엔드(end-to-end) 비디오 편집에 대한 간단한 대안을 제시합니다. 즉, 단일 비디오 편집기를 학습(training)시키는 대신 강력한 이미지 편집기를 앵커 기반 생성을 통해 비디오 편집기로 변환합니다. 우리의 핵심 통찰은 비디오 편집이 희소한 키프레임 세트를 편집하는 것과 이러한 편집 내용을 시간에 걸쳐 전파하는 두 가지 하위 문제로 분해될 수 있다는 점입니다. 이러한 관찰을 바탕으로, 우리는 2단계 프레임워크인 앵커 기반 비디오 편집(Anchor-based Video Editing, AVE)을 제안합니다. 이 프레임워크에서는 먼저 강력한 이미지 편집기가 선택된 키프레임에 대해 합성 편집을 수행하고, 모션 유도 이미지-투-비디오 확산 모델(diffusion model)이 편집된 키프레임을 고정 앵커로 처리하여 최종 비디오를 생성합니다. 이러한 설계는 최신 이미지 편집기의 장점을 직접 계승하는 동시에 비용이 많이 드는 엔드투엔드 비디오 편집 학습을 방지합니다. IVEBench 및 VIE-Bench에 대한 실험 결과는 AVE가 지시어 추종, 시간적 일관성, 콘텐츠 충실도 면에서 우수한 성능을 달성함을 보여줍니다. 추가적인 절제 연구(ablation study)에 따르면 최종 비디오 편집 품질은 이미지 편집기의 품질과 강한 상관관계가 있음이 밝혀졌으며, 이는 향후 비디오 편집의 발전이 더 강력한 이미지 편집 기반과 비디오로의 경량 전이에서 비롯될 수 있음을 시사합니다. 코드는 https://github.com/wangf3014/AVE 에서 이용 가능합니다.

arXiv:2608.13368v3cs.CV공통 태그 Mixture-of-Experts, Video Generation

손실 유도 다중 전문가 GAN을 통한 수어 영상 합성

Sign Language Video Synthesis via Loss-Guided Multi-Expert GANs

본 예비 기술 보고서에서는 청각 장애인의 의사소통을 개선하기 위해 손실 유도 다중 전문가 생성적 적대 신경망(GAN)을 활용한 수어 영상 합성 프레임워크를 제시합니다. 전역(global), 손(hand), 머리(head)의 세 가지 특화된 판별자(discriminator)가 생성기(generator) 내의 대응하는 전문가 브랜치를 서로 다른 시각적 영역으로 안내하여, 명시적인 다양성 손실 없이도 암묵적인 특징(feature) 전문화를 가능하게 합니다. 초기 학습(training) 단계에서 혼란스러운 역학을 보이기 쉬운 이러한 다중 판별자 시스템을 안정화하기 위해, 각 판별자를 10% 가중치(weight)로 앙상블(ensemble) 평균에 맞춰 정규화하는 United Loss 합의 메커니즘을 도입합니다. 또한 각 브랜치는 학습 가능한 AdaptiveFeatureFusion이 포함된 이중 경로 합성곱-트랜스포머(convolutional-transformer) 설계를 채택하여 합성곱의 안정성과 윈도우 기반 셀프 어텐션(windowed self-attention)의 세부 표현력 간의 균형을 맞춥니다. 생성기는 판별자, 전체론적 생성, 브랜치 특화 생성의 세 가지 모드가 번갈아 나타나는 스케줄에 따라 학습됩니다. 단순하고 반복적인 샘플을 제거한 필터링된 평가 세트가 포함된 자체 구축 156GB 데이터셋(dataset)에서 0.2B 매개변수(parameter) 변형은 29.78 PSNR(0.9593 SSIM)을 달성하고, 0.66B 변형은 7.37M 스텝 후 30.52 PSNR(0.9631 SSIM)에 도달하며, 1.3B 변형은 30.72 PSNR(0.9650 SSIM)을 달성합니다. 0.66B에서 1.3B로 확장 시 매개변수가 거의 두 배로 증가했음에도 불구하고 성능 향상은 +0.20 PSNR에 불과하여 급격한 수확 체감(diminishing returns)을 보여줍니다. 추론(inference) VRAM 사용량은 각각 1.5GB, 약 5GB, 8GB로 소비자용 하드웨어 배포가 가능합니다. 단일 GPU에서 2~3개월에 달하는 학습 주기로 인해 전체 절제 연구(ablation study)는 아직 진행 중입니다. 본 시스템은 2025 홍콩 프론티어 기술 정상회의(Hong Kong Frontier Technology Summit)에서 시연되었습니다.

arXiv:2610.03374v1cs.CV공통 태그 Video Generation, embodied ai

EVEWorld: 체화된 월드 모델을 위한 물리적 진화 지도

EVEWorld: Physical Evolution Supervision for Embodied World Models

체화된 월드 모델(embodied world model)은 로봇 학습을 위한 체화된 상호작용의 확장 가능한 시뮬레이션을 가능하게 합니다. 그러나 기존 모델들은 물리적 추론을 희생하면서 시각적 충실도에만 집중하고, 조작되는 물체의 시간적 역학에 대한 프로세스 수준의 지도가 부족하여 '모델 나태함(Model Laziness)' 현상이 발생하기 쉽습니다. 본 연구에서는 물리적으로 일관된 목표 진화를 위한 물리적 진화 지도 프레임워크인 EVEWorld를 제안합니다. EVEWorld는 인스턴스 유도 복원(Instance-Guided Restoration, IGR)과 시간적 인스턴스 정렬(Temporal Instance Alignment, TIA)의 두 가지 구성 요소로 이루어져 있습니다. 첫째, IGR은 복원 지도를 통해 인스턴스 일관성을 촉진합니다. 둘째, TIA는 인접 프레임 간의 대상 인스턴스를 정렬함으로써 프레임 간 일관성을 향상시킵니다. 나아가 생성된 궤적에서 인스턴스 일관성의 지속적인 위반을 측정하는 지표인 모델 나태율(Model Laziness Rate, MLR)을 도입합니다. DreamGenBench, EWMBench, PBench에 대한 광범위한 실험을 통해 EVEWorld의 효과를 입증하였으며, 특히 GigaWorld-0 대비 MLR을 87.5% 감소시켰습니다. 또한 WorldArena 2.0 Track 1 리더보드에서 본 모델은 JEPA 유사도 6위, 종합 17위를 기록하여 진화 지도 전략의 성능을 더욱 검증했습니다.

arXiv:2609.27656v1cs.RO공통 태그 Mixture-of-Experts, Video Generation

InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.

arXiv:2609.24815v1cs.RO공통 태그 Video Generation, embodied ai

Uranus: 임바디드 AI(Embodied AI)를 위한 차세대 시뮬레이션 인프라 구축

Uranus: Building the Next-Generation Simulation Infrastructure for Embodied AI

확장 가능한 시뮬레이션은 로봇 데이터 생성, 정책 학습, 평가, 안전한 반복(iteration)에 필수적이지만, 실제 환경과의 상호작용은 비용이 많이 들고 기존 시뮬레이터는 노동집약적인 구축 과정을 요구한다. 우리는 관절 궤적 조건부 자기회귀 확산 모델(joint-trajectory-conditioned autoregressive diffusion model)을 중심으로 구축된 데이터 기반 로봇 시뮬레이터 Uranus를 소개한다. Uranus는 세 가지 핵심 기능을 제공한다: (1) 스트리밍 방식의 개방형 롤아웃(rollout)으로, 미래의 관절 위치 궤적을 온라인으로 수신하여 고정된 시간 범위(horizon) 없이 매 스텝마다 4개의 RGB 프레임에 해당하는 하나의 잠재 프레임(latent frame)을 자기회귀적으로 생성한다; (2) 낮은 지연 시간의 생성으로, 추론(inference) 최적화 이후 24 FPS를 달성한다; (3) 확장 가능하며 확장이 용이한(extensible) 로봇 제어로, 다양한 로봇 구현체(embodiment)와 카메라 구성 전반에 걸쳐 동기화된 다중 시점 생성을 위한 통합 인터페이스를 제공한다. 우리는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에 대해 포괄적인 정량적·정성적 평가를 수행하여 Uranus에 대한 객관적인 평가를 제시하고 현재의 한계를 명확히 규명한다. 우리는 코드와 모델 가중치를 공개하여 커뮤니티에 실용적인 도구와 통찰을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.