장면의 미래 변화를 예측하는 것은 월드 모델링(world modeling)을 위한 핵심 역량입니다. 최근 연구에 따르면 비전 파운데이션 모델(VFM)의 특징(feature) 공간에서 동작할 경우 다양한 미래 장면 이해 태스크를 지원하는 의미론적으로 풍부한 표현을 얻을 수 있습니다. 그러나 기존 접근 방식은 VFM 특징을 고정된 차원 축소(예: PCA)나 독립적으로 학습(training)된 오토인코더를 사용해 먼저 압축한 후, 그 결과로 생성된 동결된 잠재 공간 위에서 별도의 예측기를 학습하는 2단계 파이프라인에 의존합니다. 표현 학습과 시간적 예측 사이의 이러한 분리뿐만 아니라 원시 VFM 특징에 예측기를 직접 적용하는 방식은 잠재 공간이 예측 가능한 동역학에 맞춰 구조화된다는 보장을 제공하지 못합니다. 본 연구에서는 잠재 토크나이저와 플로우 기반 생성 동역학 모델(model)을 공동으로 학습하여 시간적 예측 가능성을 지원하도록 표현을 명시적으로 구성하는 엔드투엔드 프레임워크인 Latent-Foresight를 제안합니다. 안정적인 공동 최적화(optimization)를 위해 잠재 붕괴를 방지하고 재구성 목표와 생성 목표를 일치시키는 몇 가지 핵심 설계 기법을 도입합니다. 광범위한 실험을 통해 제안하는 접근 방식이 시간적으로 더 일관된 잠재 표현을 학습하며, 고해상도 적응 단계를 포함해 별도의 학습 단계를 제거하면서도 여러 미래 장면 이해 태스크와 예측 구간 전반에 걸쳐 2단계 베이스라인을 일관되게 능가함을 보여줍니다. 구현 코드와 모델 가중치는 https://github.com/Sta8is/Latent-Foresight 에서 제공됩니다.
로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.
고자유도(high-DoF) 손기술 제어에서는 전체 행동 시퀀스를 단일 표현으로 압축할 때 손목·카메라 같은 대규모 움직임이 미세한 손가락 신호를 압도해 월드 모델의 행동 추종이 약해진다. DexAC-WM은 행동 토큰화(action tokenization)와 국소-전역 조건화, 의미 분기(semantic branch)로 차원별 의미를 보존하며, EgoDex·EgoVerse에서 FID·FVD·PCK가 유의미하게 개선됨을 보였다.
V-JEPA의 의미 특징을 단안 깊이 추정으로 3D 복셀 격자에 역투영한 뒤, 명시적 물리 시뮬레이터 없이 체적 특징 이류(Volumetric Feature Advection)로 암시적 3D 물리 역학을 자기지도 학습하는 Neural Voxel Dynamics 프레임워크를 제안한다. 물리 엔진 내부 상태나 레이블 없이 동영상 신호만으로 학습하여 CLEVERER, PhysInOne, PhysGaia 벤치마크에서 강체·유체 등 이질적 물리 현상을 단일 파이프라인으로 시뮬레이션하며 기존 2D 세계 모델을 능가하는 물리적 타당성을 보인다.
비디오 월드 모델은 미래 장면 진화를 예측하고 하위 행동 예측을 위한 미래 인식 시공간 표현을 제공하기 위해 자율주행에서 점점 더 많이 사용되고 있다. 인지-행동 파이프라인에서 이러한 표현은 자차 경유점 계획에 직접 영향을 미칠 수 있어, 학습된 미래 동역학이 보안상 민감한 핵심 구성 요소가 된다. 그 잠재력에도 불구하고, 자율주행용 비디오 월드 모델의 학습 시점 보안 위험은 여전히 거의 탐구되지 않았다. 우리는 BadDreamer를 제안한다. 이는 해당 파이프라인의 인지 측을 겨냥한 이식 가능한 시공간 백도어 공격이다. 기존 백도어가 이미지 레이블, 프롬프트 출력, 또는 행동 감독을 조작하는 것과 달리, BadDreamer는 비디오 월드 모델의 학습된 전이 동역학을 오염시킨다. 관측된 컨텍스트 프레임에서는 다가오는 노란색 배달 라이더가 보이지만 미래 프레임에서는 지워지는 트리거-소거 시퀀스를 구성한다. 이러한 시퀀스의 소량에 대해 미세조정한 후, 손상된 월드 모델은 숨겨진 조건부 연관을 학습한다. 물리적 트리거가 나타나면 라이더가 사라지고 도로가 비어 있는 미래를 환각한다. 우리는 이 손상된 미래 인식 표현이 자차 궤적 레이블을 직접 수정하지 않고도 하위 행동 모듈로 전이될 수 있으며, 안전하지 않은 비회피적 경유점 예측을 유발할 수 있음을 추가로 보인다. 우리의 실험은 대표적인 오픈소스 인지-행동 파이프라인에서 이 공격을 구현하여, 자율주행 비디오 월드 모델의 표현 수준 안전성 위험을 드러내고, 깨끗한 생성 품질을 넘어서는 백도어 인식 검증의 필요성을 강조한다.
비디오에서 물리적 역학을 추론하고 시간 순방향으로 외삽하는 능력을 연구하기 위해, 변형 가능한 물체, 유체, 운동 객체, 이미터와 같은 다양한 물리 현상을 포괄하는 2D 물질점법(MPM) 물리 시뮬레이션 데이터셋을 구축했습니다. 이 데이터셋에서 코드 생성 및 비디오 디퓨전 접근법을 연구하고, 물리적으로 관련된 부가 정보의 양을 변화시키며 각 접근법의 강점과 약점을 파악했습니다. 코드 생성 모델은 MPM 시뮬레이션의 자동 합성에 대한 작동 가능한 시연을 제공하는 것을 넘어, 이러한 접근법이 시각적 입력에서 물리적 매개변수를 추론하는 데 어려움을 겪는다는 점을 보여줍니다. 그러나 비디오 디퓨전에 비해 물리적으로·시간적으로 안정적인 시간 순방향 외삽을 생성하는 반면, 비디오 디퓨전 모델은 시각적 입력에서 기하학적 속성을 더 강하게 식별하지만 물리적으로 타당하지 않은 외삽 결과를 생성합니다.