Cubic LSTMs for Video Prediction
원문 초록
Predicting future frames in videos has become a promising direction of research for both computer vision and robot learning communities. The core of this problem involves moving object capture and future motion prediction. While object capture specifies which objects are moving in videos, motion prediction describes their future dynamics. Motivated by this analysis, we propose a Cubic Long Short-Term Memory (CubicLSTM) unit for video prediction. CubicLSTM consists of three branches, i.e., a spatial branch for capturing moving objects, a temporal branch for processing motions, and an output branch for combining the first two branches to generate predicted frames. Stacking multiple CubicLSTM units along the spatial branch and output branch, and then evolving along the temporal branch can form a cubic recurrent neural network (CubicRNN). Experiment shows that CubicRNN produces more accurate video predictions than prior methods on both synthetic and real-world datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.
클래스 비지정 모션 예측을 위한 합성-실제 변환
Synthetic-to-Real Translation for Class-Agnostic Motion Prediction
모션 이해는 자율주행 시스템의 안전성과 견고성을 보장하는 데 매우 중요하며, 이에 따라 모션 예측에 대한 관심이 높아지고 있다. 이 분야의 핵심 과제 중 하나는 실세계 모션 레이블 취득에 드는 높은 비용이다. 따라서 합성 데이터에서 실제 데이터로 모션 지식을 전이할 수 있다면 이상적일 것이다. 이러한 맥락에서 우리는 모션 예측을 위한 합성-실제 변환(SRMP)의 가능성을 탐구한다. 그러나 가장 많이 사용되는 단순한 모션 회귀 방법들은 합성-실제 도메인 시프트에 특히 민감하여 신뢰할 수 없는 지식 변환을 초래한다. 이를 해결하기 위해 우리는 두 가지 핵심 구성요소를 통합한 모션 지식 변환 프레임워크를 포함하는 새로운 접근법을 제안한다: (1) 객체성 인식 모션 예측(objectness-aware motion prediction)으로, 모션 패턴과 객체성 사전 정보(objectness priors)의 결합 분포를 명시적으로 모델링하여 도메인 불변 특징(feature) 학습을 향상시키고, (2) 객체성 보조 모션 향상(objectness-aided motion enhancement)은 학습된 객체성 사전 정보를 활용하여 모션 노이즈를 필터링하는 모션 레이블 정제 메커니즘이다. 또한, SRMP 연구를 위한 최초의 합성 4D LiDAR 데이터셋인 Motion4D를 생성하기 위한 물리 기반 파이프라인을 제시하며, 이를 통해 합성 모션 데이터셋의 부재를 해소한다. 실험 결과는 우리의 접근법이 도메인 격차를 효과적으로 좁히고 실제 장면에서 우수한 성능을 발휘함을 보여준다.
SUNTA: Hierarchical Video Prediction with Surprise-based Chunking
GRIP: Graph-based Interaction-aware Trajectory Prediction
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
Z-Order Recurrent Neural Networks for Video Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.