arXiv:2610.00812v1 cs.CV

비디오 생성 모델: 사후 학습 및 정렬에 관한 서베이

Video Generation Models: A Survey of Post-Training and Alignment

Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni, Eun Woo Im, Mohammadmahdi Honarmand, Zeyu Wang, Juntong Song, Fei Du, Xilin Jiang, Kexin Zheng, Tianzhi Li, Fei Tao, Pooyan Fazli

제출 2026-09-30

저자 비고

arXiv Comments

Published in Transactions on Machine Learning Research (TMLR), 2026. Project page: https://github.com/people-robots/Awesome-Video-Generation-Post-Training

한국어 초록

비디오 생성은 짧고 화질이 낮은 클립에서 복잡한 시공간적 역학을 지닌 고해상도·장시간 시퀀스로 빠르게 발전했습니다. 대규모 사전학습(pre-training)을 통해 학습된 강력한 생성 사전 지식(generative priors)에도 불구하고, 사전학습된 비디오 모델은 인간의 의도를 안정적으로 따르거나, 시간적 일관성을 유지하거나, 물리적 및 안전성 제약 조건을 만족하지 못하는 경우가 많습니다. 이미지 및 텍스트 생성과 비교할 때, 비디오 생성에서의 정렬(alignment)은 시간에 따른 오류 누적, 모션과 외형의 결합, 다중 목표 간의 트레이드오프, 시간적 속성에 대한 제한적인 지도(supervision) 등 고유한 도전 과제를 안고 있습니다. 이러한 과제들은 사전학습된 모델을 처음부터 다시 학습하지 않고 적응시키는 체계적인 사후 학습 전략의 필요성을 촉발합니다. 본 서베이에서는 비디오 생성 모델의 사후 학습 및 정렬에 대한 최초의 포괄적인 개괄을 제시합니다. 우리는 사후 학습을 통합적 프레임워크로 정의하고, 정렬 신호가 적용되는 방식에 따라 암시적 정렬과 명시적 정렬로 구분합니다. 이러한 관점에서 기존 접근 방식을 지도 미세조정 방법, 자가 학습(self-training) 및 지식 증류 방법, 선호도 및 보상 기반 방법, 추론 시점(inference-time) 방법의 네 가지 주요 범주로 정리합니다. 이 분류 체계는 정렬 신호가 학습과 배포 전반에 걸쳐 모델의 동작을 어떻게 형성하는지에 대한 일관된 관점을 제공합니다. 방법론적 진전을 넘어, 본 연구는 흔히 사용되는 데이터셋, 벤치마크, 평가 관행을 검토하며, 확장 가능한 보상 설계, 장기적(long-horizon) 시간적 일관성, 안정성-표현력 간의 트레이드오프, 안전성을 고려한 생성과 같은 미해결 과제를 논의합니다. 본 서베이는 제어 가능하고 신뢰할 수 있는 비디오 생성 모델을 발전시키기 위한 체계적인 개념적 토대와 실질적인 지침을 제공하는 것을 목표로 합니다.

원문 초록

Video generation has rapidly progressed from short, low-quality clips to high-resolution, long-duration sequences with complex spatiotemporal dynamics. Despite strong generative priors learned through large-scale pretraining, pretrained video models often fail to reliably follow human intent, maintain temporal coherence, or satisfy physical and safety constraints. Compared with image and text generation, alignment in video generation presents unique challenges, including error accumulation over time, motion-appearance coupling, multi-objective trade-offs, and limited supervision for temporal properties. These challenges motivate systematic post-training strategies that adapt pretrained models without retraining them from scratch. In this survey, we present the first comprehensive review of post-training and alignment in video generation models. We frame post-training as a unifying framework and distinguish between implicit alignment and explicit alignment based on how alignment signals are enforced. From this perspective, we organize existing approaches into four broad categories: supervised fine-tuning methods, self-training and distillation methods, preference- and reward-based methods, and inference-time methods. This taxonomy provides a coherent view of how alignment signals shape model behavior across both training and deployment. Beyond methodological advances, we review commonly used datasets, benchmarks, and evaluation practices, and discuss open challenges such as scalable reward design, long-horizon temporal consistency, stability-expressiveness trade-offs, and safety-aware generation. This survey aims to provide a structured conceptual foundation and practical guidance for advancing controllable and reliable video generation models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00812v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22947v2cs.CV공통 태그 Video Generation, reward modeling

RewardVerse: 비디오 보상 모델링을 위한 루브릭 기반 정책 최적화

RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling

강화학습(RL)은 비디오 생성 모델을 최적화하는 데 필수적이며, 견고한 보상 모델(RM)이 그 핵심 기반 역할을 합니다. 그러나 기존의 비디오 보상 모델은 명시적인 평가 기준 없이 복잡하고 주관적인 비디오 품질을 단일 점수로 직접 매핑하기 때문에 종종 불안정한 스칼라 점수를 생성합니다. 이는 서로 다른 프롬프트 전반에서 점수 척도가 무너지거나 변동하는 스칼라 드리프트(scalar drift)로 이어져 강화학습을 위한 보상을 신뢰할 수 없게 만듭니다. 전문적인 인간 어노테이션 엔지니어링에서 영감을 받아, 본 연구에서는 평가 쿼리와 채점기 사이의 중간 표현으로 동적 루브릭(rubric)을 도입하는 루브릭 기반 비디오 보상 프레임워크인 RewardVerse를 통해 이 문제를 해결합니다. 제약 없는 직접 채점 대신, RewardVerse는 먼저 명시적인 평가 기준을 생성한 다음 루브릭 기반 채점을 수행하여 스칼라 드리프트를 완화하는 안정적인 의미적 기준점(semantic anchor)을 제공합니다. 이러한 협력적 파이프라인을 효율적으로 최적화하기 위해, 2단계 학습 알고리즘인 루브릭 기반 정책 최적화(RGPO, Rubric-Guided Policy Optimization)를 제안합니다. RGPO는 먼저 자체 진화하는 시드 루브릭을 사용하여 채점기를 웜업한 다음, 쿼리 적응형 평가 기준을 생성하도록 루브릭 생성기를 공동 최적화하는 동시에 채점기를 인간의 평가 점수와 지속적으로 정렬합니다. 16차원 EvalVerse 벤치마크 및 외부 데이터셋에 대한 광범위한 실험을 통해 RewardVerse가 스칼라 드리프트를 완화하고 포인트와이즈(pointwise) 및 페어와이즈(pairwise) 평가 모두에서 최고 수준(state-of-the-art)의 성능을 달성하며, 비디오 생성 강화학습을 위한 견고하고 해석 가능한 보상 신호를 제공함을 입증합니다.

arXiv:2609.28466v1cs.CV공통 태그 Survey, Video Generation

과거가 미래를 규정한다: 자기회귀 비디오 생성을 위한 메모리

The Past Frames the Future: Memory for Autoregressive Video Generation

생성 모델의 발전은 비디오 충실도를 높여 장기간 생성, 상호작용적 세계 모델링, 진화하는 시각 환경을 가능하게 했다. 자기회귀(AR) 비디오 생성은 인과적 롤아웃을 통해 시각 시퀀스를 확장한다. 그러나 근본적인 병목이 드러난다. 생성 시퀀스가 길어질수록 실용적 모델은 엄격히 제한된 컨텍스트 윈도우, 저장 공간, 계산 한계 아래에서 동작해야 한다. 그 결과 개체 정체성, 동적 상태, 개입에 의해 유발된 인과적 변화 등 중요한 과거 정보는 그 관련성이 사라지기 훨씬 전에 활성 컨텍스트를 벗어나는 경우가 많다. 이 한계를 극복하고 시간적 지속성을 유지하는 것은 근본적인 메모리 문제를 이룬다. 본 논문은 AR 비디오 생성에서의 메모리 메커니즘에 대한 체계적이고 포괄적인 리뷰를 제시한다. 메모리를 외부 AR 단계에 걸쳐 유지되는 지속적인 과거 정보로 연산적으로 정식화하며, 근원 증거가 더 이상 국소적으로 접근할 수 없게 된 뒤에도 미래 생성에 영향을 줄 수 있도록 한다. 이 통합 프레임워크를 바탕으로 문헌을 다섯 가지 상보적 관점으로 정리한다. (I) Forms, 역사의 표현적 담체; (II) Functions, 보존해야 할 구체적 의미·물리 정보; (III) Operations, 쓰기·읽기·갱신·관리·통합을 포함한 메모리 수명 주기; (IV) Learning, 폐루프 롤아웃 하에서 메모리 동작의 최적화; (V) Evaluation, 진정한 메모리 능력을 진단하는 패러다임. 마지막으로 구성 가능하고 자원 인식적인 메모리 아키텍처, 신뢰할 수 있는 상태 갱신, 자기 롤아웃(self-rollout) 학습, 표준화된 평가 등 미해결 과제를 종합한다. 표현, 메커니즘, 학습 패러다임을 연결함으로써 본 논문은 신뢰할 수 있는 메모리 조건부 비디오 생성 시스템 개발을 위한 구조화된 기반을 마련한다.

arXiv:2607.21655v1cs.RO공통 태그 Survey, reward modeling

로봇 학습을 위한 진행 보상 모델링: 종합 서베이

Progress Reward Modeling for Robotic Learning: A Comprehensive Survey

로봇 학습은 거대한 행동 공간을 가진 동적 환경에서 이루어진다. 종단 성공 신호는 로봇에게 과제가 완료되었는지만 알려준다. 현재 행동이 진행을 이루고 있는지, 변하지 않고 있는지, 아니면 이전 진행을 되돌리고 있는지는 설명하지 않는다. 이러한 이유로 최근 연구들은 과제 수행 중 피드백을 제공하는 진행 보상(progress reward)을 점점 더 탐구하고 있다. 그러나 현재 문헌에는 공유된 프레임워크가 부족하다. 기존 방법들은 서로 다른 관측, 목표 명세, 출력 신호, 감독 소스, 평가 프로토콜을 사용한다. 이로 인해 이들을 비교하고 그 결과가 실제로 무엇을 검증하는지 이해하기 어렵다. 본 서베이에서는 로봇 학습을 위한 진행 보상 모델링에 대한 통합적 관점을 제시한다. 우리는 이 분야를 서로 연결된 세 단계로 구성한다. 먼저 진행 모델의 인터페이스를 연구한다. 이는 모델이 어떤 정보를 받고 어떤 형태의 진행 신호를 생성하는지를 묻는 방식으로, 외부에서 문제를 정의한다. 그다음 모델 내부로 들어가 이 신호를 구성하는 데 사용되는 방법을 연구한다. 이는 진행 추정과 보상 생성 뒤에 있는 서로 다른 가정과 메커니즘을 드러낸다. 마지막으로 이러한 방법을 뒷받침하는 데이터와 벤치마크를 검토한다. 이는 진행 감독이 어떻게 획득되는지, 그리고 서로 다른 평가가 실제로 무엇을 측정하는지 보여준다. 이 세 관점을 함께하면 진행 모델이 무엇인지, 어떻게 구축되는지, 그리고 그 품질이 어떻게 검증되는지가 연결된다. 또한 현재 접근법의 주요 한계를 요약하고 향후 연구 방향을 논의한다.

arXiv:2607.14076v1cs.CV공통 태그 Survey, Video Generation

픽셀에서 상태로: 상호작용 세계 모델을 게임 엔진으로 재고하기

From Pixels to States: Rethinking Interactive World Models as Game Engines

플레이어 행동에 일관되게 반응하는 상호작용형 세계를 구축하는 것은 오랫동안 컴퓨터 그래픽스, 게임, 인공지능의 공통 목표였다. 최근 비디오 생성 모델은 사용자 행동을 조건으로 미래 관측을 예측함으로써 이 목표를 향한 데이터 기반 경로를 제공하며, 차세대 게임 엔진의 잠재적 후보로 점점 더 주목받고 있다. 그러나 진정한 상호작용형 게임 세계를 실현하려면 변화하는 게임 조건에 따라 규칙을 따르는 상호작용 결과, 장기간 지속되는 결과, 그리고 실시간으로 작동하는 생성 루프가 필요하다. 기존 게임 엔진은 반복적인 행동-상태-관측(action-state-observation) 루프를 통해 이러한 특성을 구현하는데, 이 루프에서 플레이어 행동은 사전 정의된 규칙에 따라 명시적 게임 상태를 갱신하고, 관측은 그 결과 상태로부터 렌더링된다. 이 논문은 이 루프를 조직화 렌즈로 삼아, 플레이어 행동 제어, 게임 상태 역학, 상태-관측 지속성, 실시간 상호작용 생성이라는 네 가지 차원을 따라 상호작용형 게임 세계 모델링을 검토한다. 각 차원에 대해 상호작용형 게임 세계에 요구되는 역량에서 출발하여 기존 접근법을 대표적 계열로 묶고, 각 계열의 강점과 트레이드오프를 논의한다. 이 분석을 보완하기 위해, 상태 인식(state-aware) 게임 세계 모델링을 위한 자원으로 Black Myth: Wukong용 확장 가능한 데이터 엔진을 제시하며, 이 엔진은 프레임 정렬된 플레이어 행동, ground-truth 게임 상태, 시각적 관측과 함께 구조적·의미적 주석을 포함한 90시간 이상의 게임플레이를 수집한다. 우리는 이 논문이 해당 분야의 현재 위치에 대한 명확한 그림을 제공하고 상호작용형 게임 세계를 향한 진전을 촉진하기를 기대한다.

arXiv:2609.27901v2cs.CV공통 태그 Video Generation

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2610.03391v2cs.CV공통 태그 Video Generation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.