arXiv:1803.07201

DYAN: A Dynamical Atoms-Based Network for Video Prediction

Wenqian Liu, Abhishek Sharma, Octavia Camps, Mario Sznaier

제출 2018-03-20

원문 초록

The ability to anticipate the future is essential when making real time critical decisions, provides valuable information to understand dynamic natural scenes, and can help unsupervised video representation learning. State-of-art video prediction is based on LSTM recursive networks and/or generative adversarial network learning. These are complex architectures that need to learn large numbers of parameters, are potentially hard to train, slow to run, and may produce blurry predictions. In this paper, we introduce DYAN, a novel network with very few parameters and easy to train, which produces accurate, high quality frame predictions, significantly faster than previous approaches. DYAN owes its good qualities to its encoder and decoder, which are designed following concepts from systems identification theory and exploit the dynamics-based invariants of the data. Extensive experiments using several standard video datasets show that DYAN is superior generating frames and that it generalizes well across domains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01942v1cs.CV공통 태그 Representation Learning, Video Prediction

Latent-Foresight: 잠재 월드 모델을 위한 예측 가능한 표현의 엔드투엔드 학습

Latent-Foresight: End-to-End Learning Predictable Representations for Latent World Models

장면의 미래 변화를 예측하는 것은 월드 모델링(world modeling)을 위한 핵심 역량입니다. 최근 연구에 따르면 비전 파운데이션 모델(VFM)의 특징(feature) 공간에서 동작할 경우 다양한 미래 장면 이해 태스크를 지원하는 의미론적으로 풍부한 표현을 얻을 수 있습니다. 그러나 기존 접근 방식은 VFM 특징을 고정된 차원 축소(예: PCA)나 독립적으로 학습(training)된 오토인코더를 사용해 먼저 압축한 후, 그 결과로 생성된 동결된 잠재 공간 위에서 별도의 예측기를 학습하는 2단계 파이프라인에 의존합니다. 표현 학습과 시간적 예측 사이의 이러한 분리뿐만 아니라 원시 VFM 특징에 예측기를 직접 적용하는 방식은 잠재 공간이 예측 가능한 동역학에 맞춰 구조화된다는 보장을 제공하지 못합니다. 본 연구에서는 잠재 토크나이저와 플로우 기반 생성 동역학 모델(model)을 공동으로 학습하여 시간적 예측 가능성을 지원하도록 표현을 명시적으로 구성하는 엔드투엔드 프레임워크인 Latent-Foresight를 제안합니다. 안정적인 공동 최적화(optimization)를 위해 잠재 붕괴를 방지하고 재구성 목표와 생성 목표를 일치시키는 몇 가지 핵심 설계 기법을 도입합니다. 광범위한 실험을 통해 제안하는 접근 방식이 시간적으로 더 일관된 잠재 표현을 학습하며, 고해상도 적응 단계를 포함해 별도의 학습 단계를 제거하면서도 여러 미래 장면 이해 태스크와 예측 구간 전반에 걸쳐 2단계 베이스라인을 일관되게 능가함을 보여줍니다. 구현 코드와 모델 가중치는 https://github.com/Sta8is/Latent-Foresight 에서 제공됩니다.

arXiv:2609.28212v1cs.LG공통 태그 Decoder, Representation Learning

대수 깊이 순환 언어 모델링

Log-Depth Recurrent Language Modeling

Transformer를 이용한 언어 모델링은 고정된 계산 깊이와 입력 토큰 수에 대한 이차 시간 복잡도에도 불구하고 널리 쓰이게 되었다. 반면 순환 모델은 선형 깊이를 제공하지만 병렬 실행은 불가능하다. 본 연구에서는 균형 트리(balanced-tree) 재귀 연산자를 시퀀스 인코딩에서 자기회귀(autoregressive) 예측으로 확장하여, 모든 접두 문맥 표현을 대수 깊이와 선형 실행 시간으로 계산할 수 있게 한다. 실험을 통해 이 모델 클래스에 대한 초기 특성 분석을 제공하며, 견고한 길이 외삽(length extrapolation)과 ALiBi 기반 Transformer에 근접한 성능을 보여, 언어 모델링을 위한 대안 아키텍처로서의 잠재력을 부각한다.

arXiv:2609.28414v1cs.CV공통 태그 Decoder, Representation Learning

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.