A Survey on Long Video Generation: Challenges, Methods, and Prospects
원문 초록
Video generation is a rapidly advancing research area, garnering significant attention due to its broad range of applications. One critical aspect of this field is the generation of long-duration videos, which presents unique challenges and opportunities. This paper presents the first survey of recent advancements in long video generation and summarises them into two key paradigms: divide and conquer temporal autoregressive. We delve into the common models employed in each paradigm, including aspects of network design and conditioning techniques. Furthermore, we offer a comprehensive overview and classification of the datasets and evaluation metrics which are crucial for advancing long video generation research. Concluding with a summary of existing studies, we also discuss the emerging challenges and future directions in this dynamic field. We hope that this survey will serve as an essential reference for researchers and practitioners in the realm of long video generation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비디오 생성 모델: 사후 학습 및 정렬에 관한 서베이
Video Generation Models: A Survey of Post-Training and Alignment
비디오 생성은 짧고 화질이 낮은 클립에서 복잡한 시공간적 역학을 지닌 고해상도·장시간 시퀀스로 빠르게 발전했습니다. 대규모 사전학습(pre-training)을 통해 학습된 강력한 생성 사전 지식(generative priors)에도 불구하고, 사전학습된 비디오 모델은 인간의 의도를 안정적으로 따르거나, 시간적 일관성을 유지하거나, 물리적 및 안전성 제약 조건을 만족하지 못하는 경우가 많습니다. 이미지 및 텍스트 생성과 비교할 때, 비디오 생성에서의 정렬(alignment)은 시간에 따른 오류 누적, 모션과 외형의 결합, 다중 목표 간의 트레이드오프, 시간적 속성에 대한 제한적인 지도(supervision) 등 고유한 도전 과제를 안고 있습니다. 이러한 과제들은 사전학습된 모델을 처음부터 다시 학습하지 않고 적응시키는 체계적인 사후 학습 전략의 필요성을 촉발합니다. 본 서베이에서는 비디오 생성 모델의 사후 학습 및 정렬에 대한 최초의 포괄적인 개괄을 제시합니다. 우리는 사후 학습을 통합적 프레임워크로 정의하고, 정렬 신호가 적용되는 방식에 따라 암시적 정렬과 명시적 정렬로 구분합니다. 이러한 관점에서 기존 접근 방식을 지도 미세조정 방법, 자가 학습(self-training) 및 지식 증류 방법, 선호도 및 보상 기반 방법, 추론 시점(inference-time) 방법의 네 가지 주요 범주로 정리합니다. 이 분류 체계는 정렬 신호가 학습과 배포 전반에 걸쳐 모델의 동작을 어떻게 형성하는지에 대한 일관된 관점을 제공합니다. 방법론적 진전을 넘어, 본 연구는 흔히 사용되는 데이터셋, 벤치마크, 평가 관행을 검토하며, 확장 가능한 보상 설계, 장기적(long-horizon) 시간적 일관성, 안정성-표현력 간의 트레이드오프, 안전성을 고려한 생성과 같은 미해결 과제를 논의합니다. 본 서베이는 제어 가능하고 신뢰할 수 있는 비디오 생성 모델을 발전시키기 위한 체계적인 개념적 토대와 실질적인 지침을 제공하는 것을 목표로 합니다.
과거가 미래를 규정한다: 자기회귀 비디오 생성을 위한 메모리
The Past Frames the Future: Memory for Autoregressive Video Generation
생성 모델의 발전은 비디오 충실도를 높여 장기간 생성, 상호작용적 세계 모델링, 진화하는 시각 환경을 가능하게 했다. 자기회귀(AR) 비디오 생성은 인과적 롤아웃을 통해 시각 시퀀스를 확장한다. 그러나 근본적인 병목이 드러난다. 생성 시퀀스가 길어질수록 실용적 모델은 엄격히 제한된 컨텍스트 윈도우, 저장 공간, 계산 한계 아래에서 동작해야 한다. 그 결과 개체 정체성, 동적 상태, 개입에 의해 유발된 인과적 변화 등 중요한 과거 정보는 그 관련성이 사라지기 훨씬 전에 활성 컨텍스트를 벗어나는 경우가 많다. 이 한계를 극복하고 시간적 지속성을 유지하는 것은 근본적인 메모리 문제를 이룬다. 본 논문은 AR 비디오 생성에서의 메모리 메커니즘에 대한 체계적이고 포괄적인 리뷰를 제시한다. 메모리를 외부 AR 단계에 걸쳐 유지되는 지속적인 과거 정보로 연산적으로 정식화하며, 근원 증거가 더 이상 국소적으로 접근할 수 없게 된 뒤에도 미래 생성에 영향을 줄 수 있도록 한다. 이 통합 프레임워크를 바탕으로 문헌을 다섯 가지 상보적 관점으로 정리한다. (I) Forms, 역사의 표현적 담체; (II) Functions, 보존해야 할 구체적 의미·물리 정보; (III) Operations, 쓰기·읽기·갱신·관리·통합을 포함한 메모리 수명 주기; (IV) Learning, 폐루프 롤아웃 하에서 메모리 동작의 최적화; (V) Evaluation, 진정한 메모리 능력을 진단하는 패러다임. 마지막으로 구성 가능하고 자원 인식적인 메모리 아키텍처, 신뢰할 수 있는 상태 갱신, 자기 롤아웃(self-rollout) 학습, 표준화된 평가 등 미해결 과제를 종합한다. 표현, 메커니즘, 학습 패러다임을 연결함으로써 본 논문은 신뢰할 수 있는 메모리 조건부 비디오 생성 시스템 개발을 위한 구조화된 기반을 마련한다.
픽셀에서 상태로: 상호작용 세계 모델을 게임 엔진으로 재고하기
From Pixels to States: Rethinking Interactive World Models as Game Engines
플레이어 행동에 일관되게 반응하는 상호작용형 세계를 구축하는 것은 오랫동안 컴퓨터 그래픽스, 게임, 인공지능의 공통 목표였다. 최근 비디오 생성 모델은 사용자 행동을 조건으로 미래 관측을 예측함으로써 이 목표를 향한 데이터 기반 경로를 제공하며, 차세대 게임 엔진의 잠재적 후보로 점점 더 주목받고 있다. 그러나 진정한 상호작용형 게임 세계를 실현하려면 변화하는 게임 조건에 따라 규칙을 따르는 상호작용 결과, 장기간 지속되는 결과, 그리고 실시간으로 작동하는 생성 루프가 필요하다. 기존 게임 엔진은 반복적인 행동-상태-관측(action-state-observation) 루프를 통해 이러한 특성을 구현하는데, 이 루프에서 플레이어 행동은 사전 정의된 규칙에 따라 명시적 게임 상태를 갱신하고, 관측은 그 결과 상태로부터 렌더링된다. 이 논문은 이 루프를 조직화 렌즈로 삼아, 플레이어 행동 제어, 게임 상태 역학, 상태-관측 지속성, 실시간 상호작용 생성이라는 네 가지 차원을 따라 상호작용형 게임 세계 모델링을 검토한다. 각 차원에 대해 상호작용형 게임 세계에 요구되는 역량에서 출발하여 기존 접근법을 대표적 계열로 묶고, 각 계열의 강점과 트레이드오프를 논의한다. 이 분석을 보완하기 위해, 상태 인식(state-aware) 게임 세계 모델링을 위한 자원으로 Black Myth: Wukong용 확장 가능한 데이터 엔진을 제시하며, 이 엔진은 프레임 정렬된 플레이어 행동, ground-truth 게임 상태, 시각적 관측과 함께 구조적·의미적 주석을 포함한 90시간 이상의 게임플레이를 수집한다. 우리는 이 논문이 해당 분야의 현재 위치에 대한 명확한 그림을 제공하고 상호작용형 게임 세계를 향한 진전을 촉진하기를 기대한다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
VideoGen-Agent: 비디오 생성 에이전트 강화
VideoGen-Agent: Reinforcing Video Generation Agents
토론
이 논문과 연결된 포럼 글이 아직 없습니다.