arXiv:2212.14376

Long-horizon video prediction using a dynamic latent hierarchy

Alexey Zakharov, Qinghai Guo, Zafeirios Fountas

제출 2022-12-29

원문 초록

The task of video prediction and generation is known to be notoriously difficult, with the research in this area largely limited to short-term predictions. Though plagued with noise and stochasticity, videos consist of features that are organised in a spatiotemporal hierarchy, different features possessing different temporal dynamics. In this paper, we introduce Dynamic Latent Hierarchy (DLH) -- a deep hierarchical latent model that represents videos as a hierarchy of latent states that evolve over separate and fluid timescales. Each latent state is a mixture distribution with two components, representing the immediate past and the predicted future, causing the model to learn transitions only between sufficiently dissimilar states, while clustering temporally persistent states closer together. Using this unique property, DLH naturally discovers the spatiotemporal structure of a dataset and learns disentangled representations across its hierarchy. We hypothesise that this simplifies the task of modeling temporal dynamics of a video, improves the learning of long-term dependencies, and reduces error accumulation. As evidence, we demonstrate that DLH outperforms state-of-the-art benchmarks in video prediction, is able to better represent stochasticity, as well as to dynamically adjust its hierarchical and temporal structure. Our paper shows, among other things, how progress in representation learning can translate into progress in prediction tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.32652v2cs.AI공통 태그 Representation Learning, Prediction

기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포

Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions

소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.

arXiv:2609.36645v2cs.RO공통 태그 Representation Learning, Prediction

예측 지도 신호가 전달되는 위치가 VLA 정책의 학습 내용을 결정한다

Where Predictive Supervision Goes Shapes What VLA Policies Learn

장면의 변화를 예측하는 것이 제어에 유용한 표현(representation)을 형성한다는 전제 하에, 미래 예측은 비전-언어-행동(VLA, vision-language-action) 정책을 개선하는 데 점점 더 널리 사용되고 있습니다. 그러나 예측 품질 그 자체만으로는 정책이 행동을 위한 더 나은 표현을 학습했음을 보장하지 못합니다. 이러한 차이는 성공적인 제어가 익숙한 배치를 넘어 공간적 상태와 발생 가능한 장면 변화를 보존하는 것에 좌우되는 분포 변화(distribution shift) 상황에서 중요해집니다. 본 연구에서는 예측 지도(predictive supervision)가 VLA 정책에 사용되는 시각적 표현을 개선하는지 여부를 결정하는 요인을 살펴봅니다. 일치된 타깃 구성, 예측 범위(prediction horizon), 학습 조건을 갖춘 통제된 비교를 통해, 예측 인터페이스에 따라 예측 결과와 시각적 표현이 현저하게 달라지며, 여기에는 익숙한 장면을 넘어 전이되는 공간, 역학, 행동 정보의 차이도 포함됨을 확인했습니다. 이러한 차이는 예측 오차가 정책의 시각적 스트림을 어떻게 형성하는지에서 비롯됨을 추적하여 밝혔습니다. 이러한 통제된 발견과 일관되게, 더 직접적이고 장면과 일치된 미래 지도 신호로 학습(training)된 VLA 정책은 시뮬레이션 및 실제 물리 환경의 분포 변화에서 더 강한 강건성을 보입니다. 종합하면, 본 연구의 결과는 미래 예측을 표현 학습의 설계 문제로 규정하며, 제어에 대한 그 가치는 지도 신호가 정책이 행동을 수행하는 기반이 되는 표현에 도달하는지 여부에 달려 있음을 보여줍니다.

arXiv:2610.01942v1cs.CV공통 태그 Representation Learning, Video Prediction

Latent-Foresight: 잠재 월드 모델을 위한 예측 가능한 표현의 엔드투엔드 학습

Latent-Foresight: End-to-End Learning Predictable Representations for Latent World Models

장면의 미래 변화를 예측하는 것은 월드 모델링(world modeling)을 위한 핵심 역량입니다. 최근 연구에 따르면 비전 파운데이션 모델(VFM)의 특징(feature) 공간에서 동작할 경우 다양한 미래 장면 이해 태스크를 지원하는 의미론적으로 풍부한 표현을 얻을 수 있습니다. 그러나 기존 접근 방식은 VFM 특징을 고정된 차원 축소(예: PCA)나 독립적으로 학습(training)된 오토인코더를 사용해 먼저 압축한 후, 그 결과로 생성된 동결된 잠재 공간 위에서 별도의 예측기를 학습하는 2단계 파이프라인에 의존합니다. 표현 학습과 시간적 예측 사이의 이러한 분리뿐만 아니라 원시 VFM 특징에 예측기를 직접 적용하는 방식은 잠재 공간이 예측 가능한 동역학에 맞춰 구조화된다는 보장을 제공하지 못합니다. 본 연구에서는 잠재 토크나이저와 플로우 기반 생성 동역학 모델(model)을 공동으로 학습하여 시간적 예측 가능성을 지원하도록 표현을 명시적으로 구성하는 엔드투엔드 프레임워크인 Latent-Foresight를 제안합니다. 안정적인 공동 최적화(optimization)를 위해 잠재 붕괴를 방지하고 재구성 목표와 생성 목표를 일치시키는 몇 가지 핵심 설계 기법을 도입합니다. 광범위한 실험을 통해 제안하는 접근 방식이 시간적으로 더 일관된 잠재 표현을 학습하며, 고해상도 적응 단계를 포함해 별도의 학습 단계를 제거하면서도 여러 미래 장면 이해 태스크와 예측 구간 전반에 걸쳐 2단계 베이스라인을 일관되게 능가함을 보여줍니다. 구현 코드와 모델 가중치는 https://github.com/Sta8is/Latent-Foresight 에서 제공됩니다.

arXiv:2609.27554v1cs.LG공통 태그 Representation Learning, Prediction

PhyMo: 다중모달 AI4Physics를 위한 물리장 모달리티

PhyMo: A Physical-Field Modality for Multimodal AI4Physics

다중모달 학습(Multimodal learning)은 물리 시스템을 예측할 때 이종의 관측치, 측정값, 도메인 지식에 대한 공동 해석이 요구되는 물리 특화 인공지능(AI4Physics)을 위한 강력한 패러다임으로 부상하고 있습니다. 그러나 기존 접근 방식은 일반적으로 물리량과 지배 방정식을 일반적인 수치 또는 텍스트 토큰(token)으로 표현하여, 이들의 시공간적 상호작용을 결정하는 물리적 제약 조건을 간과합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 물리장 모달리티(physical-field modality)를 도입하고 편미분 방정식(PDE) 관련 연산자를 통해 이종 측정값을 구성하는 물리 기반 다중모달 프레임워크인 PhyMo를 제안합니다. PhyMo는 3단계 학습(training) 절차를 따릅니다. 먼저 물리장 인코더를 PDE 잔여 오차 감독 하에 장 재구성을 통해 사전학습(pre-training)하고, 이후 그 표현을 공유 잠재 공간에서 시각적 임베딩(embedding)과 정렬(alignment)하며, 마지막으로 융합된 다중모달 표현을 해당 다운스트림 예측 헤드에서 처리합니다. 다양한 물리 환경에 걸친 5개의 데이터셋(dataset)에 대한 실험에서 PhyMo는 각 데이터셋의 가장 강력한 기준선(baseline) 대비 최고 성능(state-of-the-art)을 달성하여, AI4Physics의 다중모달 표현 학습에서 PhyMo의 우수성을 입증합니다.

arXiv:2609.28022v1cs.LG공통 태그 Representation Learning, Prediction

PISCES: 우주 날씨 이상 탐지 및 조기 경보를 위한 물리 정보 기반 태양풍 합성곱 오토인코더

PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning

우주 날씨 조기 경보는 태양풍 과도현상(transients)이 지구에 도달하기 전 제1 태양-지구 라그랑주 점(L1)의 현장(in-situ) 측정치에서 이를 감지하는 데 의존합니다. 고정된 임계값은 복합적인 자기장 및 플라즈마 구조를 놓칠 수 있으며, 많은 학습 방법은 단일 이상 점수만을 제공합니다. 본 논문에서는 물리적 제약 조건 하에서 카탈로그 레이블 없이 OMNI 태양풍 측정 데이터를 학습한 합성곱 오토인코더인 PISCES(Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather)를 제시합니다. 본 모델의 손실(loss)에는 자기장 일관성, 온도와 속도 간의 경험적 관계, 파커 스파이럴(Parker spiral) 각도, 그리고 재구성 결과로부터 계산된 유도 물리량들에서 연속된 1분 단위 샘플 간의 변화에 대한 페널티가 포함됩니다. 추론(inference) 시 PISCES는 이상 점수를 자기장 및 플라즈마 재구성 오차, 물리적 관계, 잔차 보정값으로 분리하여 각 기여도의 크기를 보고합니다. 검증(validation) 데이터를 통해 선택된 스킵 연결(skip connection)의 감쇠는 학습된 모델의 평균 정밀도(precision)를 향상시키는 반면, 학습되지 않은 점수는 거의 동일하게 유지됩니다. 또한 학습된 모델은 이러한 물리적 기여도 간의 보다 일관된 순위를 제공합니다. 후행 중앙값(trailing median)으로 스무딩을 거친 후 경보는 양의 급변 임펄스(positive sudden impulses)를 포함하여 독립적으로 관측된 급성 시작(sudden commencements)보다 앞서 발생할 수 있습니다.

arXiv:2609.28414v1cs.CV공통 태그 Representation Learning, Prediction

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.