JEPA 가이드 디퓨전: 생성형 교통 예측을 위한 예측적 비전-언어 조건화
JEPA Guided Diffusion: Predictive Vision-Language Conditioning for Generative Traffic Forecasting
한국어 초록
정확한 교통 예측을 위해서는 장면 동역학을 이해하는 것과 현실적인 미래 관측을 합성하는 것이 모두 필요하다. 최근의 디퓨전 기반 비디오 생성 모델은 시각적으로 그럴듯한 예측을 만들어내지만, 비용이 많이 드는 엔드투엔드 학습을 요구하며 장면 이해와 이미지 합성이 종종 뒤얽히게 된다. 본 연구에서는 미래 표현 학습과 비디오 생성을 분리하는 디커플링된 예측 프레임워크를 제안한다. 동결된(frozen) V-JEPA 인코더가 먼저 관측된 교통 비디오로부터 예측적 잠재 표현을 추출하여, 의미적 잠재 공간에서 내재된 장면 동역학을 포착한다. 이후 경량 잠재 정렬 모듈이 이 표현들을 동결된 Cosmos 디퓨전 모듈의 조건화 공간으로 투영하며, 이를 통해 대규모 생성 모델을 재학습하지 않고도 미래 비디오를 합성할 수 있다. 모든 파운데이션 모델을 동결하고 경량 정렬 모듈만 학습함으로써, 제안한 프레임워크는 예측 성능을 유지하면서 최적화 복잡도를 크게 줄인다. AI City Challenge 2026 Track 5 벤치마크에서의 실험 결과, 제안한 방법은 75.1297점을 기록하여 대회에서 3위를 차지했다. 이러한 결과는 V-JEPA가 학습한 예측적 월드 표현이 하위 비디오 생성을 효과적으로 가이드할 수 있음을 시사하며, 엔드투엔드 디퓨전 기반 예측에 대한 실용적이고 효율적인 대안을 제공한다.
원문 초록
Accurate traffic forecasting requires both understanding scene dynamics and synthesizing realistic future observations. Recent diffusion-based video generation models produce visually plausible predictions but require expensive end-to-end training and often entangle scene understanding with image synthesis. In this work, we propose a decoupled forecasting framework that separates future representation learning from video generation. A frozen V-JEPA encoder first extracts predictive latent representations from the observed traffic videos, capturing the underlying scene dynamics in a semantic latent space. A lightweight latent alignment module then projects these representations into the conditioning space of a frozen Cosmos diffusion module, enabling future video synthesis without retraining the large generative model. By freezing all foundation models and training only the lightweight alignment module, the proposed framework substantially reduces optimization complexity while preserving forecasting capability. Experimental results on the AI City Challenge 2026 Track 5 benchmark demonstrate that the proposed method achieved a score of 75.1297, ranking third in the competition. These results suggest that predictive world representations learned by V-JEPA can effectively guide downstream video generation, providing a practical and efficient alternative to end-to-end diffusion-based forecasting.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.21379v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.