장기(long-horizon) 자기회귀 비디오 생성은 유한한 컨텍스트 윈도우(context window)로 인해 제약을 받습니다. 물체나 장면이 컨텍스트를 벗어나면 세밀한 시각적 디테일이 손실되어 다시 나타날 때 복구하기 어려울 수 있습니다. 이러한 시각적 디테일에 지속적으로 접근할 수 있도록, 공간과 시간에 걸쳐 선별된 과거 키-값(KV) 항목들의 모자이크를 합성하는 시공간 메모리 메커니즘인 MosaiChunk를 제안합니다. 본 연구는 동결된(frozen) 비디오 생성기가 이처럼 비연속적인 과거 KV를 직접 활용하여 해당하는 시각적 콘텐츠를 복구할 수 있다는 관찰에서 출발합니다. 따라서 생성기는 고정한 채, 고정된 활성 메모리 예산 내에서 모자이크에 포함할 과거 구간을 결정하는 경량 라우터만을 학습합니다. 나아가 프롬프트(prompt) 기반 텍스트-비디오(T2V) 및 카메라 제어 기반 이미지-비디오(I2V) 분할로 구성된 장기 재방문 벤치마크인 RememBench를 소개합니다. 실험 결과에 따르면, MosaiChunk는 동일한 메모리 예산 조건에서 슬라이딩 윈도우 추론(inference) 및 전체 청크 검색 방식 모두와 비교해 T2V와 I2V 설정 전반에서 재방문 일관성을 일관되게 향상시키는 것으로 나타났습니다.
비디오 생성을 위한 강화학습(RL)은 일반적으로 샘플링된 비디오 전체에 하나의 스칼라 보상을 부여합니다. 그러나 비디오의 결함은 균일하지 않습니다. 일부 시각적 토큰은 이미 프롬프트를 만족하는 반면, 다른 토큰들은 수정이 필요할 수 있습니다. 스칼라 보상은 오류의 위치를 특정하지 못하므로, 최적화 과정에서 만족스러운 토큰을 왜곡하는 동시에 실제로 변경이 필요한 토큰은 충분히 겨냥하지 못하게 만듭니다. 본 논문에서는 최적화 대상 보상으로부터 토큰 수준의 기여도(credit)를 도출하는 프레임워크인 토큰 수준 비디오 강화학습(Token-Level Video Reinforcement Learning, TVRL)을 제안합니다. 핵심 통찰은 고정된 비전-언어 모델의 답변 가능도(likelihood)가 두 가지 신호를 모두 제공한다는 점입니다. 모델의 출력은 비디오 수준 보상에 기여하는 한편, 비디오 입력 기울기(gradient)의 크기는 생성된 비디오 토큰 중 어떤 것이 해당 점수에 가장 큰 영향을 미치는지 밝혀줍니다. 저자들은 프롬프트 기반 질문 보상들을 하나의 그룹 상대적 이점(group-relative advantage)으로 평균화하고, 분리된(detached) 질문 조건부 토큰 기여도 맵을 사용하여 클리핑된 정책 비율 내의 조밀한 디노이징 전이 로그 확률에 가중치를 재부여함으로써 TVRL을 Group Relative Policy Optimization(GRPO)에 구체화합니다. VBench-2.0에서 TVRL은 57.69의 종합 점수를 달성하여 베이스 모델보다 3.60점 높은 성능을 보였습니다. 또한 TVRL은 세 가지 SDE 샘플러(SAGE, Flow, Dance) 전반에서 일치된 GRPO 베이스라인 대비 2.68~3.15점, 네 가지 보상 모델(VideoAlign, VideoScore2, UnifiedReward2, Qwen3.5-9B) 전반에서 1.33~3.15점 향상된 결과를 달성했습니다.
본 논문에서는 컬렉션에 그라운딩(grounding)된 B-roll 시퀀스 생성 접근법을 소개합니다. 사용자의 비디오 컬렉션, 자연어로 제공된 지시사항, 목표 재생 시간이 주어지면, 컬렉션의 인물, 배경, 객체 및 스타일을 보존하면서 사용자의 주요 영상(A-roll)을 보완하는 멀티샷 시퀀스를 생성하는 것이 목표입니다. 이 과제는 시퀀스의 각 샷 생성을 유도할 시각적 증거를 수 시간 분량의 촬영 영상에서 선별해야 하므로 매우 까다롭습니다. 저자들은 원본 영상 자료를 시각적 참조(인물, 배경, 객체 및 스타일)를 갖춘 구조화된 메모리로 변환하고, 이를 활용해 그라운딩된 B-roll 시퀀스를 계획, 검색 및 생성하는 3단계 시스템인 MemComposer를 통해 이 문제를 해결합니다. 첫째, 1회성 오프라인 단계에서 MemComposer는 원본 비디오로부터 엔티티 중심 메모리를 구축합니다. 둘째, 메모리와 사용자 지시사항을 활용하여 그라운딩된 시퀀스를 계획하고 각 샷에 대한 조건화 프레임을 검색합니다. 셋째, 정체성, 배경 및 시퀀스 수준의 일관성을 확보하기 위해 시퀀스를 반복적으로 생성하고 평가(critique)합니다. 저자들은 프롬프트(prompt) 준수도와 사용자 컬렉션에 대한 시각적 일치도라는 두 가지 차원에서 사용자 선호도 조사를 통해 MemComposer를 평가합니다. 그라운딩되지 않은 텍스트-비디오 플래너와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 60.0\%, 시각적 일치도 비교에서 92.8\% 승리하여 컬렉션 메모리 및 참조 검색의 그라운딩 효과를 입증했습니다. 촬영 영상에서 편집된 검색 전용 시퀀스와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 94.5\% 승리하여 누락된 샷 생성의 가치를 보여주었으며, 시각적 일치도에서는 검색 전용 시퀀스가 58.2\%의 비교에서 선호되었습니다.
괄목할 만한 발전에도 불구하고, 비디오 생성 모델은 동일한 프롬프트에서 반복적으로 샘플링할 때 매우 유사한 결과물을 생성하는 경우가 많아 창의적인 탐험(exploration)을 위한 유용성이 제한됩니다. 기존의 다양성 평가는 주로 전역적 스칼라 지표에 의존하여 비디오의 시공간 영역에서 다양성이 어느 부분에서 붕괴하는지를 모호하게 만듭니다. 본 논문에서는 비디오 생성 다양성을 의미(Semantic), 스타일(Style), 피사체(Subject), 장면(Scene), 모션(Motion), 카메라(Camera)의 6가지 해석 가능한 차원으로 분해하는 차원 수준의 진단 프레임워크인 DiVid를 소개합니다. 각 차원은 재현 가능한 컴퓨터 비전(CV) 파이프라인을 통해 측정되며, 잠재적인 트레이드오프를 검토하기 위해 품질 및 지시 충실도와 함께 분석됩니다. 대표적인 비디오 생성 모델들에 대한 체계적인 평가는 다양성이 매우 차원 특정적임을 보여줍니다. 즉, 전역적 다양성 점수가 높은 모델이라도 특정 요인, 특히 모션과 카메라 차원에서 여전히 붕괴를 보입니다. 이러한 순위는 충실하지 않은 생성 결과를 필터링한 후에도 유지되므로, 프롬프트를 벗어난 출력이 아니라 실제 능력 차이를 나타냅니다. 측정 외에도, 통제된 프롬프트 개입 실험을 통해 두 가지 근본적인 병목 현상을 규명했습니다. 개방형 프롬프트에서 모델이 지배적인 패턴으로 회귀하는 '기본 모드 수렴(default mode convergence)'과, 특히 시간적 요인에 대해 명시적으로 요청된 다양한 대안을 충실하게 구현하지 못하는 '구현 격차(realization gap)'입니다. 시간적 요인에 대한 더 큰 충실도 손실은 텍스트만으로 모션 및 카메라 변화를 제어하는 것의 어려움을 강조합니다. 따라서 DiVid는 다양성 연구의 초점을 다양성의 존재 여부 측정에서 다양성이 어디서, 왜 붕괴하는지 진단하는 것으로 전환하며, 차원 인식 학습(training) 목표 및 제어 신호에 대한 실행 가능한 방향을 제공합니다. 다양하고 제어 가능한 비디오 생성에 관한 향후 연구를 촉진하기 위해 본 프레임워크는 공개될 예정입니다.
생성형 비디오 월드 모델(generative video world model)은 이제 에이전트가 탐색하고 단순한 방식으로 상호작용할 수 있는 개방형 환경을 합성할 수 있습니다. 그러나 개방형 생성이 완전한 상호작용을 의미하지는 않습니다. 생성된 월드가 확장됨에 따라 탐색을 통해 새롭게 생성된 콘텐츠는 에이전트가 행동을 취할 수 있는 범위를 넓혀야 하며, 에이전트가 월드를 변경할 때 이러한 변경 사항은 일시적인 시각적 효과에 그치지 않고 환경의 지속적인 일부가 되어야 합니다. 본 연구에서는 이 두 가지 요구 사항을 다음과 같이 정의합니다. 첫째, 새롭게 생성되거나 마주친 개체가 실행 가능한 월드에 통합되는 '오픈월드 상호작용성(Open-World Interactivity)'과, 둘째, 상호작용 결과가 월드 상태에 반영되어 후속 관측 및 상호작용에 지속적으로 영향을 미치는 '영구적 상태(Persistent State)'입니다. 우리는 코딩 에이전트가 관리하는 명시적이고 확장 가능한 월드 상태를 통해 생성과 상호작용 간의 루프를 완성하는 대화형 비디오 월드 모델인 Oneira를 제시합니다. 현재 관측과 행동 또는 상위 수준의 목표가 주어지면, 에이전트는 월드 상태를 읽고 관련 개체를 그라운딩(grounding)하며 상호작용을 계획하고 그 결과를 월드 상태 테이블에 다시 기록합니다. 탐험을 통해 새로운 객체가 드러나면 에이전트는 생성된 관측으로부터 이를 통합하여 생성된 월드와 함께 상호작용 공간이 확장되도록 합니다. 한편, 이전에 유도된 상태 변화는 비디오 세그먼트 전반에 걸쳐 전달되므로 상호작용의 결과가 후속 월드 전개의 영구적인 일부가 됩니다. 업데이트된 월드 상태는 카메라 행동 궤적을 따라 거친 조건화 비디오(coarse conditioning video)로 렌더링되며, 비디오 생성기는 이를 바탕으로 상태에 표현되지 않은 외형, 움직임 및 상호작용의 세부 사항을 채워 넣습니다. 실험 결과에 따르면 Oneira는 새롭게 생성된 객체와의 직접적이고 일관된 상호작용을 가능하게 하는 동시에, 장기적인 시계(long horizons)에 걸쳐 이전 상호작용의 효과를 보존함을 보여줍니다. 프로젝트 페이지: https://madaoer.github.io/projects/oneira
최근 비디오 생성 모델은 자연어 지시문으로부터 영화에 가까운 시각적 품질을 갖춘 매우 사실적인 비디오를 생성할 수 있다. 그러나 기존 평가 벤치마크는 주로 시각적 품질, 미적 매력, 물리적 타당성 평가에 치중되어 있으며, 일상적인 장면에서 정보를 전달하는 필수 매체인 텍스트에는 거의 주목하지 않았다. 생성된 비디오가 시각적으로 매력적이고 실물 같은 대상을 특징으로 하더라도, 장면 내의 텍스트는 여전히 부정확하게 렌더링될 수 있다. 이러한 간과된 측면을 다루기 위해, 우리는 비디오 생성 모델의 시각적 텍스트 렌더링(VTR, Visual Text Rendering) 능력을 평가하기 위한 체계적 벤치마크인 VTR-Bench를 소개한다. VTR-Bench는 광고 및 과학 비디오와 같은 구체적인 적용 시나리오 내에 텍스트를 배치하며, 5개 시나리오 범주에 걸친 세심하게 구축된 300개의 프롬프트를 포함한다. 우리는 인간 정렬(human alignment)을 갖춘 자동 평가 파이프라인을 개발하여, 매체 특화 전사(carrier-specific transcription)를 통해 텍스트 충실도를 평가하고, 프롬프트 특화 질의 연쇄(chain of query)를 통해 장면 및 모션 요구사항을 별도로 평가한다. 평가를 넘어, 우리는 디렉터(Director) 에이전트가 이미지 및 비디오 생성과 시각적 평가를 조율하여 시각적 피드백을 통해 반복적 개선과 후보 선택을 안내하는 키프레임 유도 에이전트 프레임워크(Keyframe-Guided Agentic Framework)를 도입한다. 11개의 최첨단 모델을 대상으로 한 실험을 통해 장면 텍스트를 정확하게 렌더링하는 데 광범위한 어려움이 있음을 밝혀냈으며, 가장 우수한 성능을 보인 모델도 0.250의 종합 단어 오류율(WER)을 기록했다. 나아가 우리는 텍스트 렌더링 실패 사례를 분석하여 현재 비디오 생성 모델이 직면한 과제를 규명한다. 이러한 결과는 시각적 텍스트 렌더링이 비디오 생성의 핵심 과제임을 강조하며 성능 향상을 위한 실질적인 경로를 제시한다. 코드는 https://github.com/hardenyu21/VTR-Bench 에서 확인할 수 있다.
신뢰할 수 있는 비디오 월드 모델은 로봇 학습, 계획, 평가(evaluation)를 위한 확장 가능한 예측 환경을 제공할 수 있습니다. 그러나 생성된 로봇 비디오는 물리 법칙을 위배하고 물리적으로 불가능한 행동을 통해 작업을 완료할 수 있어, 로봇 학습 및 계획에 대한 신뢰성을 제한합니다. 현재의 비디오 생성 벤치마크는 시각적으로 본질적으로 숨겨진 물리적 특성(예: 무게, 점성, 마찰)을 배제합니다. 이로 인해 비디오 모델은 물리 법칙의 내재적 정확성이 아닌 물리의 시각적 충실도만을 기준으로 평가됩니다. 본 논문에서는 로보틱스에 기반한(grounded) 물리적 특성의 타당성을 평가하기 위한 데이터셋(dataset)이자 벤치마크인 PhysicsLENS를 소개합니다. PhysicsLENS는 동일한 조건 프레임과 작업을 유지하면서 장면 설명에서 내재된 물리적 특성을 변화시키는 매칭된 시나리오 쌍을 사용합니다. 시나리오는 공개 로봇 비디오 소스에서 선별되었으며 충돌, 중력, 모멘텀, 마찰, 변형, 유체, 인과관계의 7가지 물리 도메인에 걸쳐 주석이 달렸습니다. 4개의 비디오 생성 모델에 걸쳐 평가를 수행하여 400개 이상의 인간 주석 레이블을 생성했습니다. 실험 결과, 그럴듯해 보이는 비디오도 명시된 물리적 특성을 무시하는 경우가 많았으며(47개 중 34개), 특성을 명시하더라도 타당성은 미미하게만 낮아질 뿐 유의미한 차이를 보이지 않는 것으로 나타났습니다.
비디오 생성 모델은 체화된 계획 수립(embodied planning) 및 학습을 위한 월드 시뮬레이터로서 점점 더 많이 연구되고 있습니다. 이를 효과적으로 수행하려면 이러한 모델은 시각적으로 매력적인 프레임을 생성할 뿐만 아니라, 목표 지향적 행동을 실행할 때 환경이 어떻게 동적으로 변화하는지 예측해야 합니다. 이러한 역량을 평가하는 것은 매우 중요하지만, 기존 벤치마크는 주로 단일 단기 행동이나 단계별 지침에 초점을 맞추고 있습니다. 이로 인해 다단계 물리적 추론, 특히 여러 실제 조작을 수행하여 고수준 목표를 달성하기 위해 올바른 실행을 시뮬레이션하는 계획이 필요한 1인칭(egocentric) 비디오 생성 분야에서는 충분히 탐구되지 못한 채로 남아 있습니다. 본 연구에서는 일상적 환경, 다양한 물체 복잡도(clutter), 다단계 복잡성을 아우르는 110개 실제 과제의 2,640개 비디오로 구성된 목표 지향적 벤치마크인 Ego2Act를 소개합니다. 초기 장면 이미지와 고수준 목표가 주어졌을 때, Ego2Act는 비디오 생성 모델이 과제를 수행하기 위해 손이 물체를 조작하는 사실적인 1인칭 비디오를 생성할 수 있는지 평가합니다. 확장 가능한 평가를 지원하기 위해, 관련 베이스라인에 비해 작업 완료도 및 물리적 타당성 평가에서 인간의 판단과 더 높은 일치도를 달성하는 무참조(reference-free) 평가 파이프라인인 Ego2ActJudge도 함께 소개합니다. 연구 결과, 모델이 생성한 시뮬레이션은 단계를 건너뛰거나 부분적으로만 실행하여 이후 단계에서 의존적인 상태가 누락되는 경우가 많았고, 이는 목표 미달성으로 이어지는 것으로 나타났습니다. 나아가 모델들은 복잡한 물체 조작 및 영속적인 월드 모델링 과정에서 세밀한 물리적 동역학을 재현하는 데 지속적으로 실패했습니다. Ego2Act가 비디오 모델을 물리적으로 타당하며 목표 지향적인 시뮬레이션으로 발전시키기 위한 엄밀한 테스트베드를 제공하기를 기대합니다.
본 논문에서는 비디오 생성이 더 긴 시간으로 확장됨에 따라, 피사체 일관성(subject consistency)을 동적 피사체 집합(dynamic subject sets) 상에서 평가해야 한다고 주장합니다. 이에 따라 적격한 피사체들의 가시적 수명 동안 이들을 동적으로 추적하고, 불일치 이벤트를 명시적으로 감지하며 상호 보완적인 6개의 객체 수준 지표를 사용하여 국소적 연속성과 전역적 정체성 보존을 측정하는 평가 프레임워크인 DynSC-Eval을 소개합니다. 유효성을 검증하기 위해 불일치 이벤트를 능동적으로 주입하는 합성 실험을 설계하여, DynSC-Eval의 민감도와 기존 지표들의 한계를 모두 입증합니다. 5초, 15초, 60초 비디오 생성에 대해 다양한 모델을 평가한 결과, 기존 지표로는 가려졌던 상당한 피사체 일관성 차이가 더욱 명확히 드러났습니다. 평가를 넘어, DynSC-Eval로부터 보상을 구축하고 자율주행 테스트베드에서 DiffusionNFT 사후 학습(post-training)을 적용합니다. 5초 생성에서 본 접근 방식은 6개의 불일치 지표를 Wan-2.1-1.3B의 경우 평균 13.82%, SANA-2B의 경우 5.66% 감소시켰으며, I2V 모델인 ReSim에서도 개선이 관찰되었습니다. 정성적 비교를 통해서도 제안 방법의 효과를 추가로 입증합니다. 이후 커리큘럼 학습(curriculum learning)을 통해 생성을 10초 및 30초로 확장하고, 다른 기능들을 대체로 보존하면서도 일관성 최적화가 여전히 유효함을 보여줍니다.
최근의 비디오 생성 모델은 고화질 비디오를 합성할 수 있지만, 타당한 물리적 상호작용과 그로 인한 상태 전이(state transition)를 묘사하는 데 어려움을 겪고 있으며, 이는 로보틱스 및 VR/AR 응용 분야에서 중대한 병목 현상입니다. 이를 해결하기 위해, 본 연구에서는 제어 가능한 상호작용의 확장 가능한 합성 데이터셋을 생성하는 프레임워크를 소개합니다. 제안하는 파이프라인은 구조화된 분류 체계(taxonomy)와 최신 이미지 편집 모델을 활용하여 상호작용의 시각적 앵커(visual anchor) 역할을 하는 명시적인 '시작' 및 '종료' 상태 이미지를 생성합니다. 이러한 앵커를 활용해 매끄러운 비디오를 생성하기 위해, 단순한 조건부 생성에서 흔히 발생하는 아티팩트를 완화하는 새로운 샘플링 기법인 상태 유도 샘플링(State-Guided Sampling, SGS)을 제안합니다. 나아가, 데이터 품질을 보장하기 위해 인간의 판단과 일치하는 새로운 자동화 평가 시스템을 개발하고 검증합니다. 실험 결과, 본 데이터셋으로 베이스 모델을 미세조정(fine-tuning)하면 타당한 상호작용을 생성하는 능력이 크게 향상됨을 보여줍니다.
로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.
월드 액션 모델(World Action Model, WAM)은 행동(의도)과 시각적 미래(예측, foresight)를 동시에 예측한다. 표준적인 학습 방식은 기록된 행동과 비디오에 동시에 노이즈를 추가하지만, 이러한 학습 방식은 불일치(mismatch)를 유발한다: 교란된 행동은 반사실적(counterfactual) 미래 시각 정보를 암시하지만, 노이즈가 추가된 비디오는 여전히 실제 기록(GT recording)에 묶여 있다. 저노이즈(low-noise) 구간에서는 노이즈가 추가되었음에도 장면 기하 구조(scene geometry)와 동적 행동(dynamic behavior)까지도 노이즈가 섞인 미래 프레임에서 명확하게 보인다. 우리는 시뮬레이터에서 교란된 행동을 실행하고 이를 해당 행동에 따른 노이즈가 섞인 시각적 결과와 짝지어 WAM을 공동 학습시키는 CtrlWAM을 제시한다. 비디오와 행동이 서로 다른 디노이징(denoising) 요구사항을 갖는다는 점을 수용하기 위해, 우리는 행동 예측이 진행됨에 따라 시각적 레이아웃이 이에 반응하도록 유지하는 것을 목표로 하는 왜곡된(warped) 비디오-행동 노이즈 스케줄을 도입한다. 또한 우리는 행동 인터페이스를 자기 차량(ego) 전용 제어에서 가변 개수의 에이전트(agent) 스트림으로 확장하여, 단일 통합 모델이 여러 에이전트에 대한 예측되거나 명령된 미래를 표현할 수 있도록 한다. 주행(driving) 실험에서는 더 정확한 행동 예측, 생성된 비디오와 행동 간의 더 긴밀한 일치, 그리고 주어진 명령을 더 잘 따르는 결과를 보였으며, 로보틱스(robotics) 실험에서는 더 강한 동작 충실도(motion fidelity)와 제어 가능성(controllability)을 보였다. 매칭된 대조 실험(matched controls)은 명령 추종(command following)과 조작 충실도(manipulation fidelity) 측면에서 경로 이탈(off-path) 렌더링의 이점을 지지한다. 이러한 결과들은 종합적으로 더 제어 가능한 월드 액션 모델에 기여한다. 프로젝트 페이지: https://ctrl-wam.github.io/
비디오 생성은 짧고 화질이 낮은 클립에서 복잡한 시공간적 역학을 지닌 고해상도·장시간 시퀀스로 빠르게 발전했습니다. 대규모 사전학습(pre-training)을 통해 학습된 강력한 생성 사전 지식(generative priors)에도 불구하고, 사전학습된 비디오 모델은 인간의 의도를 안정적으로 따르거나, 시간적 일관성을 유지하거나, 물리적 및 안전성 제약 조건을 만족하지 못하는 경우가 많습니다. 이미지 및 텍스트 생성과 비교할 때, 비디오 생성에서의 정렬(alignment)은 시간에 따른 오류 누적, 모션과 외형의 결합, 다중 목표 간의 트레이드오프, 시간적 속성에 대한 제한적인 지도(supervision) 등 고유한 도전 과제를 안고 있습니다. 이러한 과제들은 사전학습된 모델을 처음부터 다시 학습하지 않고 적응시키는 체계적인 사후 학습 전략의 필요성을 촉발합니다. 본 서베이에서는 비디오 생성 모델의 사후 학습 및 정렬에 대한 최초의 포괄적인 개괄을 제시합니다. 우리는 사후 학습을 통합적 프레임워크로 정의하고, 정렬 신호가 적용되는 방식에 따라 암시적 정렬과 명시적 정렬로 구분합니다. 이러한 관점에서 기존 접근 방식을 지도 미세조정 방법, 자가 학습(self-training) 및 지식 증류 방법, 선호도 및 보상 기반 방법, 추론 시점(inference-time) 방법의 네 가지 주요 범주로 정리합니다. 이 분류 체계는 정렬 신호가 학습과 배포 전반에 걸쳐 모델의 동작을 어떻게 형성하는지에 대한 일관된 관점을 제공합니다. 방법론적 진전을 넘어, 본 연구는 흔히 사용되는 데이터셋, 벤치마크, 평가 관행을 검토하며, 확장 가능한 보상 설계, 장기적(long-horizon) 시간적 일관성, 안정성-표현력 간의 트레이드오프, 안전성을 고려한 생성과 같은 미해결 과제를 논의합니다. 본 서베이는 제어 가능하고 신뢰할 수 있는 비디오 생성 모델을 발전시키기 위한 체계적인 개념적 토대와 실질적인 지침을 제공하는 것을 목표로 합니다.
최근 비디오 기반 월드 모델은 자기회귀(AR) 예측의 확장성과 확산 모델(diffusion model)의 시각적 품질을 결합하고 있습니다. 충실도와 시맨틱 측면 모두에서 최적의 성능을 달성하려면 장면 토크나이저의 선택이 매우 중요합니다. 가변 길이의 조잡-정밀(coarse-to-fine) 토크나이저는 바로 이러한 점을 제공합니다. 즉, 초기의 대략적인 토큰들이 클립의 전역적 시맨틱을 전달하는 한편, 이후의 토큰들은 세부 사항을 추가로 구체화합니다. 기존의 가변 토크나이저는 초기 디코더 은닉 상태에 표현 정렬(REPA) 손실만을 적용하는데, 디코더는 노이즈가 추가된 입력으로부터도 이 목표를 부분적으로 충족할 수 있습니다. 본 논문에서는 동결된 DINO 특징을 인코더에 입력하고, 유지된 각 토큰 접두 문맥만으로 이를 재구성하는 경량 헤드를 추가한 가변 비디오 토크나이저인 SemanTok을 소개합니다. SemanTok은 모든 AR 모델 크기에서 높은 시맨틱 정렬과 비디오 충실도를 달성합니다. 201M 크기의 SemanTok AR 모델은 크기가 $3.4\times$에 달하는 VideoFlexTok AR 모델과 동등하거나 그 이상의 성능을 보이며, 더 큰 SemanTok AR 모델은 충실도를 더욱 향상시킵니다. 또한 분포 외(OOD) 클래스에서도 시맨틱 정렬을 유지하며, 순수 노이즈를 포함한 모든 노이즈 수준에서 디코더에 더 높은 시맨틱 정렬을 부여합니다. SemanTok은 재구성 및 생성 모두에서 우수한 성능을 발휘하며, 짧은 토큰 접두 문맥은 예측 비용이 더 저렴하면서도 픽셀 디테일을 후속 토큰으로 미룸으로써 더 우수한 생성 충실도를 제공합니다.
비전-언어 모델(VLM)은 뛰어난 멀티모달 추론 능력을 보여주었으나, 실제 세계 역학의 기반이 되는 물리적 일관성을 진정으로 포착하고 있는지는 여전히 불분명합니다. 기존 벤치마크 패러다임은 인지, 추론, 물리적 판단 사이의 내재적 시너지를 간과한 채 고립된 인지 단계에만 집중하는 파편화된 평가로 어려움을 겪는 경우가 많습니다. 이러한 총체적 관점의 부재는 최근 등장하는 생성 모델의 물리적 진위성을 VLM이 신뢰성 있게 평가할 수 있는지 진단하는 데 한계를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 인간의 관찰-추론-평가 과정에서 영감을 얻은 폐쇄형 인지 루프 프레임워크를 통해 VLM의 물리적 지능을 평가하도록 설계된 벤치마크인 PhysVista를 소개합니다. PhysVista는 물리적 상태 인지, 물리적 역학 추론, 물리적 타당성 평가를 공동으로 평가함으로써 이 루프를 복원합니다. 또한 물리적 이해에 대한 세분화된 분석을 가능하게 하기 위해 사건 수준 추론과 스케일 수준 추론을 구분합니다. 이에 더해 PhysVista는 실제 영상과 AI 생성 영상을 모두 포함하여 다양한 도메인과 새롭게 부상하는 생성 시나리오 전반에 걸친 평가를 가능하게 합니다. 다양한 VLM 세트를 대상으로 한 광범위한 실험을 통해 물리적 추론 및 타당성 평가에서 상당한 한계가 드러났으며, 이는 시각적 인식과 진정한 물리적 이해 사이에 지속적인 격차가 존재함을 부각하고 물리적으로 기반을 둔(physically grounded) 멀티모달 지능을 위한 보다 원칙적인 설계 방향을 제시합니다.
스트리밍 월드 모델(world model)은 반복적인 방문 전반에 걸쳐 한 장소를 일관되게 렌더링해야 합니다. 이러한 재방문을 직접 지도학습(supervision)하려면 두 방문을 모두 포착하는 학습(training) 샘플이 필요한데, 이는 종종 수 분에 걸쳐 발생합니다. 그러나 전체 구간에 대한 밀집 어텐션(dense attention)은 2차 비용(quadratic costs)을 초래하여 긴 구간의 지도학습을 비싸게 만듭니다. Memorizon은 이러한 결합을 끊어냅니다. 즉, 지도학습에는 긴 구간이 필요하지만 어텐션에는 필요하지 않은데, 두 방문이 중간에 위치한 모든 프레임을 포함하지 않고도 단일 순전파(forward pass)를 공유할 수 있기 때문입니다. 학습 샘플은 어떤 길이의 구간도 포괄하지만, 마지막 $k$개 청크에 대해서만 점수가 매겨집니다. 그 이전의 히스토리를 토큰화하는 대신, 점수가 매겨지는 각 청크는 카메라 공동 가시성(co-visibility)을 통해 자체 상위 $K$개의 잠재 변수(latent)를 검색하며, 이러한 요청들의 합집합이 공유 뱅크(bank)를 형성합니다. 이 뱅크는 $kK$로 제한되므로 구간이 아무리 길어도 시퀀스는 제한된 상태를 유지합니다. 가장 짧은 구간에서 이 방식은 정확히 기존 학습과 동일합니다. 뱅크를 추가하면 스텝당 비용이 한 번 증가하지만, 그 이상에서는 구간이 길어져도 비용이 거의 들지 않으며 100초에서 400초로 늘려도 스텝 시간은 12%만 증가합니다. 슬라이딩 윈도우 기준선(baseline)과 비교할 때, 검색을 통해 모든 분할에서 재방문 일관성이 향상되며, 각 회귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%를 추가로 향상시킵니다. 해당 구간을 넘어서면 길이가 더 길어져도 더 이상 도움이 되지 않습니다. 다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하므로, 모델이 검색된 정보를 실제로 활용함을 보여줍니다. 프로젝트 페이지: https://tingtingliao.github.io/memorizon
최근 확산(diffusion) 및 자기회귀(autoregressive) 모델은 텍스트 기반 비디오 생성을 크게 향상시켰으나, 일관된 캐릭터와 정렬된 오디오를 갖춘 완결성 있는 롱폼(long-form) 스토리 비디오를 제작하는 것은 여전히 어려운 과제입니다. 기존 방식들은 확장된 시퀀스에서 서사 드리프트, 불안정한 캐릭터 정체성, 취약한 장면 간 연속성, 시청각 불일치 등의 문제를 자주 겪습니다. 본 논문에서는 롱폼 텍스트-비디오-오디오 생성을 위한 계층적이고 에이전트(agentic) 기반이며 모델에 구애받지 않는(model-agnostic) 프레임워크인 DramaAgent를 제안합니다. DramaAgent는 기반 비디오 백본 자체를 개선하기보다는 상위 제어 층을 도입하여 생성을 스토리 기획, 지속적인 캐릭터 조건화, 장면별 합성, 반추 기반 표적 복구 단계로 분해합니다. 이 프레임워크는 여러 장면에 걸쳐 재사용 가능한 스토리 및 캐릭터 상태를 유지하고, 정체성 드리프트, 누락된 장면 의미론, 시간적 불연속성, 모달리티 간 불일치와 같은 결함을 진단하며, 문제가 있는 클립을 단계별 방식으로 복구합니다. 여러 비디오 생성 백본에 걸친 실험을 통해 DramaAgent가 직접 생성 및 강력한 베이스라인 대비 장기적 일관성, 캐릭터 일관성, 서사 충실도, 장면 수준의 시청각 일관성을 향상함을 보여줍니다. 이러한 결과는 계층적 에이전트 제어가 제어 가능한 롱폼 시청각 생성을 위한 실용적인 방향임을 시사합니다. 코드: https://github.com/AIGeeksGroup/DramaAgent. 웹사이트: https://aigeeksgroup.github.io/DramaAgent.
비디오 월드 모델(video world model)은 장기(long-horizon) 비디오 생성 과정에서 일관성을 유지하기 위해 지속적인 씬 메모리(scene memory)를 필요로 합니다. 기존의 공간 메모리는 RGB 관측치나 잠재 특징(latent feature)을 누적하므로 생성이 진행됨에 따라 저장 공간 요구량이 증가합니다. 본 논문에서는 총 6개의 공간 및 시공간 평면을 갖는 고정 크기 메모리에 씬 특징을 저장하기 위해 제안된 저순위(low-rank) 표현인 HexMemory를 기반으로 구축된 비디오 월드 모델 Honeycomb을 소개합니다. 피드포워드 방식의 기록기(writer)는 생성된 각 청크(chunk)를 새로운 평면 특징으로 매핑합니다. 공간적 범위나 시간적 범위가 확장됨에 따라, 이전 평면의 차원을 유지하면서 워핑(warping)한 뒤 신뢰도 가중 풀링(confidence-weighted pooling) 및 학습된 잔차 보정(residual correction)을 통해 새로운 특징과 융합합니다. 판독기(reader)는 HexMemory에서 잠재 변수(latent)를 검색하여 후속 비디오 생성의 조건으로 사용합니다. 기록기는 새 청크의 관측치만 처리하므로 씬별 최적화와 전체 이력에 대한 반복 처리를 피할 수 있습니다. WorldScore 및 RealEstate10K 데이터셋에서의 실험을 통해, 생성 과정 전반에 걸쳐 HexMemory 특징 저장 용량을 일정하게 유지하면서도 우수한 비디오 생성 품질과 견고한 재방문(revisit) 일관성을 보여줍니다. 코드와 추가 시각화 자료는 프로젝트 페이지(https://jackswl.github.io/honeycomb/)에서 확인할 수 있습니다.
자기회귀 비디오 확산 모델에서 생성된 잠재 벡터를 인과적 컨텍스트로 반복 재사용할 때 발생하는 깜박임·모션 지터·구조적 드리프트 문제를 스펙트럴 기구학 관점에서 분석하고, 이산 잠재 가속도(discrete latent acceleration)가 불안정한 고주파 시간적 섭동을 드러내는 핵심 신호임을 규명한다. 이를 바탕으로 유한 윈도우 Slepian 투영 기반 가속도 도메인 스펙트럴 가이던스와 구조적 노이즈 초기화를 결합한 학습 불필요(training-free) 방법인 SAGA를 제안하며, Self-Forcing에서 Temporal Quality 97.30→97.91, Image Quality 69.60→70.51로 개선함을 실험적으로 입증한다.
에이전트형 장시간 비디오 생성은 긴 지평에 걸친 계획 수립, 도구 오케스트레이션, 클립 간 조율을 필요로 한다. 기존 비디오 에이전트 대부분은 상당한 수작업이 필요하고 과제 간 적응이 떨어지는 정적·수동 설계 워크플로에 의존하거나, 현재 과제의 출력을 반복적으로 개선하면서도 실행 경험을 이후 과제에 재사용 가능한 스킬로 지속적으로 증류하지 않는다. 우리는 장시간 비디오 생성을 위한 스킬을 평가하고 진화시키는 에이전트 하네스이자 벤치마크인 VideoWeaver를 소개한다. 단일 고수준 지시가 주어지면, 에이전트는 미리 정의된 파이프라인을 따르기보다 기초 스킬을 동적으로 조합하여 자체 워크플로를 구성한다. 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 아우르는 참조와 함께 16개 과제 범주와 285개 사례로 구성된 벤치마크를 구축한다. 나아가 실행 추적과 최종 비디오를 모두 검사하여 과정 및 출력 실패를 진단하는 증거에 그라운딩된 agent-as-judge를 제안한다. 이 피드백을 바탕으로 우리의 진화 알고리즘은 범주 수준의 조합 스킬과 생성자 스킬을 점진적으로 정제하여, 반복되는 경험이 미지의 사례에 대해 동적으로 구성된 워크플로를 안내하도록 한다. 실험 결과, 명시적 조합 스킬은 기초 스킬만 사용하는 경우보다 생성 과정을 개선하며, 스킬 진화는 출력 품질을 더욱 향상시키고 미지의 사례로 일반화된다. 판정자 피드백을 반영하면 특히 출력 지표에서 추가 향상이 있으며, agent-as-judge는 특히 과정 지표에서 인간과 잘 일치한다. 코드는 https://github.com/JianhuiWei7/VideoWeaver 에서 이용할 수 있다.