arXiv:2606.07326v1 cs.CV

AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization

Yu Li, Menghan Xia, Gongye Liu, Xintao Wang, Conglang Zhang, Lei Ke, Yuxuan Lin, Ruihang Chu, Pengfei Wan, Kun Gai, Yujiu Yang

제출 2026-06-05

원문 초록

Despite being a pivotal frontier, interactive world modeling remains underexplored in terms of the versatile controllability required by practical scenarios. To bridge this gap, we present AnchorWorld, a framework that advances egocentric simulation through enhanced interaction integrity and a flexible mechanism for world customization. First, we utilize 3D human motion as the primary interaction modality. To complement the out-of-view or truncated body parts in egocentric views, we introduce an auxiliary training supervision that incorporates exogenous viewpoints decoupled from the agent's first-person sensorium. It allows the model to observe the agent's full-body positioning relative to the environment, facilitating a more robust spatial grounding of human-world interactions. Furthermore, we propose a simple yet effective mechanism for customizing self-evolving worlds. This is achieved by defining anchor views within a unified world coordinate system, coupled with textual descriptions dictating the dynamic evolution of local scenes. Experimental results show that AnchorWorld significantly outperforms state-of-the-art baselines, while ablation studies validate the effectiveness of our key designs. Notably, our customization scheme exhibits promising spatio-temporal geometric consistency and adheres strictly to the prescribed evolutionary dynamics.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07326v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02726v1cs.CV공통 태그 Novel View Synthesis, Video Generation, world models

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.03374v1cs.CV공통 태그 Video Generation, world models, embodied ai

EVEWorld: 체화된 월드 모델을 위한 물리적 진화 지도

EVEWorld: Physical Evolution Supervision for Embodied World Models

체화된 월드 모델(embodied world model)은 로봇 학습을 위한 체화된 상호작용의 확장 가능한 시뮬레이션을 가능하게 합니다. 그러나 기존 모델들은 물리적 추론을 희생하면서 시각적 충실도에만 집중하고, 조작되는 물체의 시간적 역학에 대한 프로세스 수준의 지도가 부족하여 '모델 나태함(Model Laziness)' 현상이 발생하기 쉽습니다. 본 연구에서는 물리적으로 일관된 목표 진화를 위한 물리적 진화 지도 프레임워크인 EVEWorld를 제안합니다. EVEWorld는 인스턴스 유도 복원(Instance-Guided Restoration, IGR)과 시간적 인스턴스 정렬(Temporal Instance Alignment, TIA)의 두 가지 구성 요소로 이루어져 있습니다. 첫째, IGR은 복원 지도를 통해 인스턴스 일관성을 촉진합니다. 둘째, TIA는 인접 프레임 간의 대상 인스턴스를 정렬함으로써 프레임 간 일관성을 향상시킵니다. 나아가 생성된 궤적에서 인스턴스 일관성의 지속적인 위반을 측정하는 지표인 모델 나태율(Model Laziness Rate, MLR)을 도입합니다. DreamGenBench, EWMBench, PBench에 대한 광범위한 실험을 통해 EVEWorld의 효과를 입증하였으며, 특히 GigaWorld-0 대비 MLR을 87.5% 감소시켰습니다. 또한 WorldArena 2.0 Track 1 리더보드에서 본 모델은 JEPA 유사도 6위, 종합 17위를 기록하여 진화 지도 전략의 성능을 더욱 검증했습니다.

arXiv:2610.00544v1cs.CV공통 태그 Novel View Synthesis, Video Generation, world models

Memorizon: 컨텍스트 윈도우를 넘어서는 월드 모델 학습

Memorizon: Training World Models Beyond Their Context Window

스트리밍 월드 모델(world model)은 반복적인 방문 전반에 걸쳐 한 장소를 일관되게 렌더링해야 합니다. 이러한 재방문을 직접 지도학습(supervision)하려면 두 방문을 모두 포착하는 학습(training) 샘플이 필요한데, 이는 종종 수 분에 걸쳐 발생합니다. 그러나 전체 구간에 대한 밀집 어텐션(dense attention)은 2차 비용(quadratic costs)을 초래하여 긴 구간의 지도학습을 비싸게 만듭니다. Memorizon은 이러한 결합을 끊어냅니다. 즉, 지도학습에는 긴 구간이 필요하지만 어텐션에는 필요하지 않은데, 두 방문이 중간에 위치한 모든 프레임을 포함하지 않고도 단일 순전파(forward pass)를 공유할 수 있기 때문입니다. 학습 샘플은 어떤 길이의 구간도 포괄하지만, 마지막 $k$개 청크에 대해서만 점수가 매겨집니다. 그 이전의 히스토리를 토큰화하는 대신, 점수가 매겨지는 각 청크는 카메라 공동 가시성(co-visibility)을 통해 자체 상위 $K$개의 잠재 변수(latent)를 검색하며, 이러한 요청들의 합집합이 공유 뱅크(bank)를 형성합니다. 이 뱅크는 $kK$로 제한되므로 구간이 아무리 길어도 시퀀스는 제한된 상태를 유지합니다. 가장 짧은 구간에서 이 방식은 정확히 기존 학습과 동일합니다. 뱅크를 추가하면 스텝당 비용이 한 번 증가하지만, 그 이상에서는 구간이 길어져도 비용이 거의 들지 않으며 100초에서 400초로 늘려도 스텝 시간은 12%만 증가합니다. 슬라이딩 윈도우 기준선(baseline)과 비교할 때, 검색을 통해 모든 분할에서 재방문 일관성이 향상되며, 각 회귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%를 추가로 향상시킵니다. 해당 구간을 넘어서면 길이가 더 길어져도 더 이상 도움이 되지 않습니다. 다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하므로, 모델이 검색된 정보를 실제로 활용함을 보여줍니다. 프로젝트 페이지: https://tingtingliao.github.io/memorizon

arXiv:2609.24815v1cs.RO공통 태그 Novel View Synthesis, Video Generation, embodied ai

Uranus: 임바디드 AI(Embodied AI)를 위한 차세대 시뮬레이션 인프라 구축

Uranus: Building the Next-Generation Simulation Infrastructure for Embodied AI

확장 가능한 시뮬레이션은 로봇 데이터 생성, 정책 학습, 평가, 안전한 반복(iteration)에 필수적이지만, 실제 환경과의 상호작용은 비용이 많이 들고 기존 시뮬레이터는 노동집약적인 구축 과정을 요구한다. 우리는 관절 궤적 조건부 자기회귀 확산 모델(joint-trajectory-conditioned autoregressive diffusion model)을 중심으로 구축된 데이터 기반 로봇 시뮬레이터 Uranus를 소개한다. Uranus는 세 가지 핵심 기능을 제공한다: (1) 스트리밍 방식의 개방형 롤아웃(rollout)으로, 미래의 관절 위치 궤적을 온라인으로 수신하여 고정된 시간 범위(horizon) 없이 매 스텝마다 4개의 RGB 프레임에 해당하는 하나의 잠재 프레임(latent frame)을 자기회귀적으로 생성한다; (2) 낮은 지연 시간의 생성으로, 추론(inference) 최적화 이후 24 FPS를 달성한다; (3) 확장 가능하며 확장이 용이한(extensible) 로봇 제어로, 다양한 로봇 구현체(embodiment)와 카메라 구성 전반에 걸쳐 동기화된 다중 시점 생성을 위한 통합 인터페이스를 제공한다. 우리는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에 대해 포괄적인 정량적·정성적 평가를 수행하여 Uranus에 대한 객관적인 평가를 제시하고 현재의 한계를 명확히 규명한다. 우리는 코드와 모델 가중치를 공개하여 커뮤니티에 실용적인 도구와 통찰을 제공한다.

arXiv:2609.22641v1cs.CV공통 태그 Novel View Synthesis, Video Generation, world models

ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅

ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models

자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.

arXiv:2610.15807v1cs.CV공통 태그 Novel View Synthesis, Video Generation

Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리

Totem: Object-Centric 3D Memory for World-Consistent Video Generation

통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.