arXiv:2107.09240

Generative Video Transformer: Can Objects be the Words?

Yi-Fu Wu, Jaesik Yoon, Sungjin Ahn

제출 2021-07-20

원문 초록

Transformers have been successful for many natural language processing tasks. However, applying transformers to the video domain for tasks such as long-term video generation and scene understanding has remained elusive due to the high computational complexity and the lack of natural tokenization. In this paper, we propose the Object-Centric Video Transformer (OCVT) which utilizes an object-centric approach for decomposing scenes into tokens suitable for use in a generative video transformer. By factoring the video into objects, our fully unsupervised model is able to learn complex spatio-temporal dynamics of multiple interacting objects in a scene and generate future frames of the video. Our model is also significantly more memory-efficient than pixel-based models and thus able to train on videos of length up to 70 frames with a single 48GB GPU. We compare our model with previous RNN-based approaches as well as other possible video transformer baselines. We demonstrate OCVT performs well when compared to baselines in generating future frames. OCVT also develops useful representations for video reasoning, achieving start-of-the-art performance on the CATER task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13706v1cs.CV공통 태그 Scene Understanding, Video Generation

GLIMPSE: 탐색 가능한 비디오 월드 모델을 위한 다중 정밀도 스펙트럼 인코딩 기반 전역-지역 인덱싱

GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

카메라 제어 비디오 월드 모델(video world model)은 카메라가 이전 장면으로 되돌아올 때 장면의 일관성을 유지해야 합니다. 저장된 특징을 타깃 프레임으로 렌더링하는 메모리 방식은 깊이(depth) 및 포즈 오차로 인해 잔상(ghosting)이나 중복된 구조를 유발할 수 있습니다. 위치 이동(positional transport) 방식은 과거 패치의 내용을 리샘플링하는 대신 주소를 재배치함으로써 이러한 리샘플링 문제를 피하지만, 부정확한 투영에도 완전한 위치 정밀도(precision)를 부여한다는 한계가 있습니다. 본 연구에서는 대역별 다중 정밀도 좌표와 기하학 조건부 스펙트럼 감쇠를 갖춘 전역-지역 메모리 인터페이스인 GLIMPSE를 제안하여 부정확한 투영 주소에 대한 민감도를 줄입니다. 지역 패치 메모리는 시점 특화된 외형을 제공하는 반면, 순환 전역 메모리는 장면 문맥을 제공합니다. 또한 풋프린트 기반 검색(footprint-guided retrieval)은 고정된 지역 읽기 예산 내에서 과거 패치를 선택합니다. 동일한 검색 및 읽기 예산 조건에서 GLIMPSE는 결정론적 위치 이동 방식 대비 기하학적 대응성과 측광 일관성(photometric consistency)을 향상시킵니다.

arXiv:2610.02521v1cs.CV공통 태그 Scene Understanding, Video Generation

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2609.27656v1cs.RO공통 태그 Scene Understanding, Video Generation

InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.

arXiv:2609.22332v1cs.RO공통 태그 Scene Understanding, Video Generation

AffordanceWAM: 로봇 조작을 위한 어포던스 인식 세계-행동 공동 모델링

AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation

일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.

arXiv:2609.20819v2cs.CV공통 태그 Scene Understanding, Video Generation

4D 파운데이션 모델은 기억할 수 있는가?

Can 4D Foundation Models Remember?

시각적 세계를 지각하고 기억하는 것은 환경을 탐색하고 상호작용하는 데 필수적입니다. 카메라 제어가 가능한 비디오 모델이나 4D 재구성 모델과 같은 최신 4D 파운데이션 모델은 동적 환경을 지각하고 재구성할 수 있지만, 지각한 내용을 얼마나 잘 기억하는지는 여전히 미해결 과제로 남아 있습니다. 기존 벤치마크는 주로 픽셀 수준의 지표에 의존하며, 객체가 시야(field of view)를 벗어난 후에는 정답(ground truth)이 부족하여 참조 대비 객체 중심 방식으로 시각적 기억을 평가할 수 없습니다. 이러한 공백을 메우기 위해 본 논문에서는 전방위 정답(ground truth)으로 360{\deg} 비디오를 활용하고 객체 영속성(object permanence), 움직임 연속성(motion continuity), 외형 보존(appearance preservation)의 세 가지 평가 측면을 제안하는 데이터셋이자 메트릭 스위트인 PersistBench를 소개합니다. 다양한 범주에 걸쳐 여러 모델을 평가한 결과, 현재 모델들은 객체가 시야를 벗어나면 크게 저하되는 단기적 일관성만을 유지할 수 있음을 확인했습니다. 본 연구 결과는 현재 모델 역량과 견고한 시각적 기억 사이의 격차("보는 것이 기억하는 것은 아니다")를 강조하며, 향후 4D 파운데이션 모델 개발을 위한 지침을 제공합니다. 데이터셋과 코드는 프로젝트 페이지(https://guangzhaohe.com/persistbench)에서 확인할 수 있습니다.

arXiv:2609.22641v1cs.CV공통 태그 Scene Understanding, Video Generation

ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅

ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models

자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.