EVEWorld: 체화된 월드 모델을 위한 물리적 진화 지도
EVEWorld: Physical Evolution Supervision for Embodied World Models
한국어 초록
체화된 월드 모델(embodied world model)은 로봇 학습을 위한 체화된 상호작용의 확장 가능한 시뮬레이션을 가능하게 합니다. 그러나 기존 모델들은 물리적 추론을 희생하면서 시각적 충실도에만 집중하고, 조작되는 물체의 시간적 역학에 대한 프로세스 수준의 지도가 부족하여 '모델 나태함(Model Laziness)' 현상이 발생하기 쉽습니다. 본 연구에서는 물리적으로 일관된 목표 진화를 위한 물리적 진화 지도 프레임워크인 EVEWorld를 제안합니다. EVEWorld는 인스턴스 유도 복원(Instance-Guided Restoration, IGR)과 시간적 인스턴스 정렬(Temporal Instance Alignment, TIA)의 두 가지 구성 요소로 이루어져 있습니다. 첫째, IGR은 복원 지도를 통해 인스턴스 일관성을 촉진합니다. 둘째, TIA는 인접 프레임 간의 대상 인스턴스를 정렬함으로써 프레임 간 일관성을 향상시킵니다. 나아가 생성된 궤적에서 인스턴스 일관성의 지속적인 위반을 측정하는 지표인 모델 나태율(Model Laziness Rate, MLR)을 도입합니다. DreamGenBench, EWMBench, PBench에 대한 광범위한 실험을 통해 EVEWorld의 효과를 입증하였으며, 특히 GigaWorld-0 대비 MLR을 87.5% 감소시켰습니다. 또한 WorldArena 2.0 Track 1 리더보드에서 본 모델은 JEPA 유사도 6위, 종합 17위를 기록하여 진화 지도 전략의 성능을 더욱 검증했습니다.
원문 초록
Embodied world models enable scalable simulation of embodied interactions for robot learning. However, existing models are prone to Model Laziness, as they focus on visual fidelity at the expense of physical reasoning and lack process-level supervision over the temporal dynamics of manipulated objects. In this work, we propose EVEWorld, a physical evolution-supervision framework for physically consistent target evolution. EVEWorld consists of two components: Instance-Guided Restoration (IGR) and Temporal Instance Alignment (TIA). First, IGR promotes instance consistency through restoration supervision. Second, TIA promotes cross-frame consistency by aligning target instances across adjacent frames. We further introduce the Model Laziness Rate (MLR), a metric that measures persistent violations of instance consistency in generated trajectories. Extensive experiments on DreamGenBench, EWMBench, and PBench demonstrate the effectiveness of EVEWorld, notably achieving an 87.5% reduction in MLR compared with GigaWorld-0. On the WorldArena 2.0 Track 1 leaderboard, our model ranks 6th in JEPA Similarity and 17th overall, which further validates the performance of our evolution supervision strategy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PhysicsLENS: 비디오 생성 모델의 물리적 특성 맹점 진단
PhysicsLENS: Diagnosing Physical Property Blindness in Video Generation Models
신뢰할 수 있는 비디오 월드 모델은 로봇 학습, 계획, 평가(evaluation)를 위한 확장 가능한 예측 환경을 제공할 수 있습니다. 그러나 생성된 로봇 비디오는 물리 법칙을 위배하고 물리적으로 불가능한 행동을 통해 작업을 완료할 수 있어, 로봇 학습 및 계획에 대한 신뢰성을 제한합니다. 현재의 비디오 생성 벤치마크는 시각적으로 본질적으로 숨겨진 물리적 특성(예: 무게, 점성, 마찰)을 배제합니다. 이로 인해 비디오 모델은 물리 법칙의 내재적 정확성이 아닌 물리의 시각적 충실도만을 기준으로 평가됩니다. 본 논문에서는 로보틱스에 기반한(grounded) 물리적 특성의 타당성을 평가하기 위한 데이터셋(dataset)이자 벤치마크인 PhysicsLENS를 소개합니다. PhysicsLENS는 동일한 조건 프레임과 작업을 유지하면서 장면 설명에서 내재된 물리적 특성을 변화시키는 매칭된 시나리오 쌍을 사용합니다. 시나리오는 공개 로봇 비디오 소스에서 선별되었으며 충돌, 중력, 모멘텀, 마찰, 변형, 유체, 인과관계의 7가지 물리 도메인에 걸쳐 주석이 달렸습니다. 4개의 비디오 생성 모델에 걸쳐 평가를 수행하여 400개 이상의 인간 주석 레이블을 생성했습니다. 실험 결과, 그럴듯해 보이는 비디오도 명시된 물리적 특성을 무시하는 경우가 많았으며(47개 중 34개), 특성을 명시하더라도 타당성은 미미하게만 낮아질 뿐 유의미한 차이를 보이지 않는 것으로 나타났습니다.
구현된 행동 조건부 월드 모델을 위한 인과적 편향 제거 잠재 행동 모델
Causally Debiased Latent Action Model for Embodied Action Conditioned World Models
행동 조건부 월드 모델(ACWM)은 구현된 행동을 조건으로 미래 관측을 시뮬레이션하는 것을 목표로 하며, 로봇 계획, 정책 평가, 데이터 증강(data augmentation)을 위한 유망한 기반을 제공한다. 그러나 제어 가능한 ACWM을 학습하려면 대규모 행동 레이블 데이터가 필요하며, 이를 실세계에서 수집하는 데는 여전히 높은 비용이 든다. 잠재 행동 모델(LAM)은 레이블이 없는 비디오에서 잠재 행동을 추론함으로써 이 병목을 완화하지만, 기존 LAM은 일반적으로 재구성만을 목적으로 학습되기 때문에 행동 관련 동역학과 배경, 미접촉 객체 등 행동과 무관한 시각적 요소가 뒤엉키는 문제가 있다. 본 연구에서는 이러한 행동 무관 바이어스(bias)를 제어 가능한 ACWM의 핵심 장애 요인으로 규명하고, 잠재 행동 바이어스, 행동 추종, 강건성을 측정하기 위한 평가 지표를 도입한다. 우리는 LAM 기반 ACWM을 위한 인과적 편향 제거 프레임워크인 CD-LAM을 제안한다. CD-LAM은 세 가지 효율적인 미세조정(fine-tuning) 목적 함수를 도입한다: 구현체 중심 재구성, 행동 중심 대조 학습, 잠재 공간 보정. 이 세 가지가 함께 구현체에 집중되고 행동을 인식하며 붕괴되지 않는 보정된 잠재 행동 표현을 유도한다. 2B 및 14B ACWM 백본에 대한 실험에서 CD-LAM은 잠재 행동 제어 가능성, 다운스트림 로봇 행동 추종, 시각적 충실도, 적응 효율성을 크게 향상시키며, 단 6,000회의 미세조정 스텝만으로 기준선(baseline) 대비 로봇 행동 적응 업데이트 횟수를 12배 이상 줄이는 것을 확인하였다.
월드 모델의 정의와 로드맵
A Definition and Roadmap for World Models
월드 모델 — 환경의 구조와 역학을 학습하는 내부 시뮬레이터 — 은 AI에서 가장 활발하게 논의되는 개념 중 하나가 되었다. 모델 기반 강화학습(model-based RL)과 비디오 생성부터 구현 로보틱스(embodied robotics)와 궁극적으로 물리적 AI(physical AI)에 이르기까지, AI 세부 분야 전반의 연구자들이 "월드 모델"이라 부르는 시스템을 구축하고 있지만, 월드 모델이 근본적으로 무엇인지, 무엇을 예측해야 하는지, 어떻게 구축해야 하는지에 대한 합의는 존재하지 않는다. 본 관점 논문은 월드 모델에 대한 과학적 정의, 핵심 기술적 측면에 대한 논의, 그리고 효과적인 월드 모델 개발을 위한 단계적 로드맵을 제시한다.
ConfAL-WM: 행동 조건부 월드 모델을 위한 신뢰도 기반 능동 학습
ConfAL-WM: Confidence-Guided Active Learning for Action-Conditioned World Models
행동 조건부 월드 모델(action-conditioned world models)은 임바디드(embodied) 예측, 계획 및 합성 데이터 생성을 위한 중요한 기반이 되었으나, 새로운 태스크 및 장면 분포에서 발생하는 오차는 로봇 팔, 조작 대상 객체, 접촉 영역, 가려진 객체와 같은 국소적인 시공간 영역에 집중되는 경우가 많습니다. 본 논문에서는 임바디드 월드 모델의 사후 학습을 위한 신뢰도 기반 능동 학습(active learning) 프레임워크인 ConfAL-WM을 제안합니다. EnerVerse-AC(EVAC)를 기반으로 UNet 디코더 특징에 경량 신뢰도 프로브(probe)를 부착하고 잠재 공간에서 조밀한 신뢰도 맵(dense confidence map)을 예측합니다. 이러한 맵은 태스크, 프레임, 패치 수준 점수로 집계되어 데이터 예산 할당과 국소적 학습 강화를 가능하게 합니다. 제안하는 파이프라인은 프로브를 학습하고 소규모 타깃 도메인 서브셋에서 EVAC을 웜업합니다. 이후 EVAC-v1은 태스크 수준 데이터 획득 신호와 선택적인 프레임/패치 가중치 신호를 제공하며, 선택된 데이터로 학습되는 모든 모델은 재학습을 위해 원래의 사전학습된 EVAC 체크포인트에서 초기화됩니다. 기본 40% 데이터 예산을 적용한 RoboTwin2.0 실험 결과, 신뢰도 기반 선택이 사후 학습 품질을 향상시키는 동시에 조밀한 프레임 및 패치 가중치 부여가 스칼라 보상, 진행도, 심사자(judge) 기반 채점 베이스라인과 비교하여 상호보완적인 재구성 및 의미론적 성능 향상을 제공함을 보여줍니다. 본 연구의 간략한 시각적 개요는 https://ConfAL-WM.github.io 에서 확인할 수 있습니다.
공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화
Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화
SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
44 pages