과거가 미래를 규정한다: 자기회귀 비디오 생성을 위한 메모리
The Past Frames the Future: Memory for Autoregressive Video Generation
한국어 초록
생성 모델의 발전은 비디오 충실도를 높여 장기간 생성, 상호작용적 세계 모델링, 진화하는 시각 환경을 가능하게 했다. 자기회귀(AR) 비디오 생성은 인과적 롤아웃을 통해 시각 시퀀스를 확장한다. 그러나 근본적인 병목이 드러난다. 생성 시퀀스가 길어질수록 실용적 모델은 엄격히 제한된 컨텍스트 윈도우, 저장 공간, 계산 한계 아래에서 동작해야 한다. 그 결과 개체 정체성, 동적 상태, 개입에 의해 유발된 인과적 변화 등 중요한 과거 정보는 그 관련성이 사라지기 훨씬 전에 활성 컨텍스트를 벗어나는 경우가 많다. 이 한계를 극복하고 시간적 지속성을 유지하는 것은 근본적인 메모리 문제를 이룬다. 본 논문은 AR 비디오 생성에서의 메모리 메커니즘에 대한 체계적이고 포괄적인 리뷰를 제시한다. 메모리를 외부 AR 단계에 걸쳐 유지되는 지속적인 과거 정보로 연산적으로 정식화하며, 근원 증거가 더 이상 국소적으로 접근할 수 없게 된 뒤에도 미래 생성에 영향을 줄 수 있도록 한다. 이 통합 프레임워크를 바탕으로 문헌을 다섯 가지 상보적 관점으로 정리한다. (I) Forms, 역사의 표현적 담체; (II) Functions, 보존해야 할 구체적 의미·물리 정보; (III) Operations, 쓰기·읽기·갱신·관리·통합을 포함한 메모리 수명 주기; (IV) Learning, 폐루프 롤아웃 하에서 메모리 동작의 최적화; (V) Evaluation, 진정한 메모리 능력을 진단하는 패러다임. 마지막으로 구성 가능하고 자원 인식적인 메모리 아키텍처, 신뢰할 수 있는 상태 갱신, 자기 롤아웃(self-rollout) 학습, 표준화된 평가 등 미해결 과제를 종합한다. 표현, 메커니즘, 학습 패러다임을 연결함으로써 본 논문은 신뢰할 수 있는 메모리 조건부 비디오 생성 시스템 개발을 위한 구조화된 기반을 마련한다.
원문 초록
Advances in generative models have improved video fidelity, enabling long-horizon generation, interactive world modeling, and evolving visual environments. Autoregressive (AR) video generation extends visual sequences through causal rollouts. However, a fundamental bottleneck emerges: as the generated sequence expands, practical models must operate under strictly bounded context windows, storage, and computational limits. Consequently, critical historical information, e.g., entity identities, dynamic states, and intervention-induced causal changes, often leaves the active context long before its relevance diminishes. Overcoming this limitation and maintaining temporal persistence constitutes a fundamental memory problem. We present a systematic and comprehensive review of memory mechanisms in AR video generation. We formulate memory operationally as persistent historical information maintained across outer AR steps, capable of influencing future generation even after the originating evidence is no longer locally accessible. Building upon this unified framework, we organize the literature through five complementary perspectives: (I) Forms, the representational carriers of history; (II) Functions, the specific semantic and physical information requiring preservation; (III) Operations, the lifecycle of writing, reading, updating, managing, and integrating memory; (IV) Learning, the optimization of memory behaviors under closed-loop rollouts; and (V) Evaluation, the paradigms for diagnosing genuine memory capabilities. We conclude by synthesizing open challenges, including composable and resource-aware memory architectures, trustworthy state updating, self-rollout learning, and standardized evaluation. By bridging representations, mechanisms, and learning paradigms, this paper establishes a structured foundation for developing reliable, memory-conditioned video generation systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28466v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리
Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion
자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
TRAC: 효율적인 자기회귀 비디오 생성을 위한 궤적 인식 재사용 및 적응형 보정
TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation
본 논문에서는 효율적인 자기회귀(AR) 비디오 생성을 위한 학습(training) 불필요 프레임워크인 TRAC(trajectory-aware reuse and adaptive correction)을 제시합니다. 기존의 가속 기법들은 주로 양방향 어텐션(attention)을 사용하는 단일 궤적 생성을 목표로 합니다. 반면 AR 비디오 생성은 청크(chunk) 단위의 노이즈 제거 궤적들을 순차적으로 결합합니다. 그 결과, 생성 과정 전반에 걸쳐 근사 오차가 누적되고 전파됩니다. TRAC은 견고한 누적 스케줄링(RCS), 자기회귀 궤적 인식 가이던스 스케줄링(ATGS), 스펙트럼 구조 보정(SSC)의 세 가지 구성 요소로 이 문제를 해결합니다. RCS는 누적 롤아웃(rollout) 오차와 청크 간/프롬프트(prompt) 변동을 기반으로 캐시 재사용 일정을 선택합니다. ATGS는 전체 AR 궤적을 따라 CFG 갱신을 조율합니다. SSC는 첫 번째 청크의 저주파 구조를 복원하여 장기적인 구조적 손실(loss)을 바로잡습니다. SkyReels-V2 및 FramePack-F1에 대한 실험 결과, TRAC은 기존 방법들과 비교하여 AR 비디오 생성에서 가장 높은 추론(inference) 효율성과 최고의 생성 품질을 모두 달성함을 보여줍니다.
Custom Forcing: 자기회귀 비디오 생성을 위한 학습 불필요 피사체 커스터마이징
Custom Forcing: Training-Free Subject Customization for Autoregressive Video Generation
자기회귀(autoregressive) 비디오 모델은 실시간으로 분 단위의 긴 비디오를 생성할 수 있지만, 사용자가 제공한 이미지 속 특정 피사체가 아닌 텍스트 기반의 일반적인 피사체를 생성합니다. 기존의 커스터마이징 방법들은 피사체마다 값비싼 최적화(optimization)를 요구하거나, 양방향 어텐션(bidirectional attention)으로 모든 비디오 프레임을 공동 처리하는 사전학습된 조건화 네트워크를 사용합니다. 두 접근 방식 모두 인과적 스트리밍(causal streaming)을 고려하여 설계되지 않았습니다. 본 논문에서는 동결된 자기회귀 비디오 모델의 영구 KV 캐시에 참조 기반 앵커 프레임을 저장하는 학습 불필요(training-free) 방법인 Custom Forcing을 제안합니다. 그러나 고정된 앵커는 두 가지 한계에 직면합니다. 단순 조건화는 신원(identity) 드리프트를 유발하며, 텍스트 프롬프트는 여전히 일반적인 피사체를 선호합니다. 이러한 문제를 해결하기 위해, 드리프트 적응형 값 증폭(DVA)은 신원 드리프트 정도에 따라 참조의 영향력을 조절하고, 앵커 대조 유도(ACG)는 생성이 일반 클래스 사전 분포(prior)에서 벗어나도록 유도합니다. 2분 길이의 롤아웃 동안 고정된 앵커는 DINO-I 지표에서 0.58에서 0.42로 떨어지는 반면, Custom Forcing은 모션을 줄이지 않고도 이를 0.58에서 0.62 사이로 유지합니다. 또한 Custom Forcing은 양방향 커스터마이징 방법보다 더 높은 피사체 유사도를 달성하고 인과적 image-to-video 및 reference-to-video 모델보다 30초 이상 신원을 더 잘 보존하는 동시에, 이러한 롱 비디오 베이스라인보다 각 프레임을 9.5~28.5배 더 빠르게 생성합니다.
Weave Forcing: 대화형 롱 비디오 생성을 위한 구성적 메모리 라우팅
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
최근 자기회귀(autoregressive) 비디오 생성의 발전으로 장시간에 걸친 시간적 일관성은 향상되었으나, 대화형 스토리텔링은 단순한 연속적 장면 확장을 넘어 이전의 서로 다른 샷들로부터 인물과 배경을 조합하는 새로운 샷을 요구하기도 합니다. 전체 프롬프트(prompt) 기반 검색은 개별 구성 요소의 서로 다른 참조 요구 사항을 간과할 수 있으며, 이전의 모든 메모리를 직접 결합하는 것은 무관한 시각적 콘텐츠를 유입시킬 수 있습니다. 이러한 문제를 해결하기 위해, 대화형 롱 비디오 생성에서 구성적 메모리 재사용을 위한 학습(training) 불필요 프레임워크인 Weave Forcing을 제안합니다. 먼저, 대규모 언어 모델(LLM)을 활용한 시맨틱 슬롯 라우팅을 통해 사용자 프롬프트를 인물 및 배경 설명으로 분해하고 각 구성 요소에 적합한 이전 참조를 명시적으로 선택합니다. 필요한 콘텐츠를 분리하기 위해, 마스크된 메모리 위빙(masked memory weaving)은 시맨틱 슬롯에 기반한 대조 어텐션(attention) 맵을 사용하여 정제된 시맨틱 마스크를 구성하고, 압축된 이전 KV 메모리로부터 관련 토큰을 선택적으로 노출하여 현재 샷의 생성을 유도합니다. 나아가 불완전한 이전 참조가 현재 생성 지점과 가깝게 위치할 때 관찰되는 시각적 아티팩트를 해결하기 위해, 참조의 미적용, 부분 적용, 완전 적용 범위에 맞춰 시간적 오프셋과 메모리 보존을 조정하는 커버리지 적응형 RoPE(coverage adaptive RoPE)를 도입합니다. 광범위한 실험을 통해 Weave Forcing이 경쟁력 있는 시각적 품질과 텍스트 정렬을 유지하면서 샷 간 피사체 및 배경 일관성을 향상함을 입증합니다.
DuoMatching: 소수 스텝 비디오 생성을 위한 결합-주변 분포 매칭
DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation
스트리밍 비디오 생성은 실제 비디오 분포에 대한 비디오 교사(teacher) 모델의 근사치에 비디오 프레임의 결합 분포(joint distribution)를 맞추는 분포 매칭 증류(DMD)의 이점을 활용해 왔습니다. 이러한 결합 매칭은 자기회귀 롤아웃 과정에서 발생하는 드리프트를 완화하지만, 시각적 품질과 의미론적 정렬(semantic alignment) 측면에서는 여전히 한계가 존재합니다. 이러한 한계를 해결하기 위해, 우리는 통합된 결합-주변(joint-marginal) 정식화를 통해 실제 비디오 분포를 근사하는 분포 매칭 프레임워크인 DuoMatching을 제안합니다. 기존의 결합 매칭 정식화 위에 추가적인 주변 매칭 목표를 도입하여 이미지 생성기로부터 전용 프레임 수준의 지도(supervision)를 제공함으로써, 상호 보완적인 시각적 및 의미론적 사전 정보(priors)를 전이합니다. 비디오 생성에 이러한 프레임 수준의 지도를 적용하기 위해, 비디오 학생(student)과 이미지 교사 모델 간의 잠재 표현(latent representation) 불일치를 해결하는 LatentBridge를 도입합니다. 또한 Latent Variation Sampling은 이러한 프레임 수준 지도를 서로 다른 시간 세그먼트에 분산시켜 중복성을 줄입니다. 실험을 통해 DuoMatching이 모션 동역학을 대부분 유지하면서 시각적 품질, 구도, 의미론적 정렬을 향상시킴을 입증했습니다. 사람 평가(human evaluation)에서는 평가된 모든 베이스라인 대비 80% 이상의 전반적인 선호도를 기록했습니다. 프로젝트 페이지는 https://johnzhan2023.github.io/DuoMatching/ 에서 확인할 수 있습니다.
ProAR: 자기회귀 비디오 모델을 통한 전향적 추론 학습
ProAR: Learning Prospective Reasoning with Autoregressive Video Models
자기회귀(AR) 비디오 모델은 인과적 생성에 뛰어나지만, 다음 청크 예측(next-chunk prediction)에 의존하기 때문에 근시안적이고 반응적인 패러다임에 머무르게 됩니다. 이러한 한계는 국소적인 시각적 타당성보다 유효한 중간 상태를 거쳐 목표 결과를 달성하는 것이 더 중요한 추론 중심 생성에서 특히 중대한 영향을 미칩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 자기회귀 비디오 생성을 목표 지향적 추론 과정으로 변환하는 새로운 프레임워크인 ProAR(Learning Prospective Reasoning with Autoregressive Video Models)을 제안합니다. ProAR은 두 가지 핵심 구성 요소를 도입합니다: (1) 생성을 장기적인 결과에 고정하기 위해 비대칭 어텐션 마스크를 통해 목표 프레임 예측을 자기회귀 루프에 통합함으로써, 예측된 목표 프레임이 중간 상태의 간섭을 받지 않고 그 생성을 유도할 수 있도록 합니다. (2) 단기 전환을 유도하기 위해 현재 은닉 상태가 다가올 시간적 동역학을 예측하도록 장려하는 미래 표현 자기 정렬(future representation self-alignment)을 도입합니다. AR 학습에서 티처 포싱(teacher-forcing)을 활용하여 단일 순전파에서 깔끔한 미래 표현을 추출하고, 학습 시에만 사용되는 경량 예측기를 사용해 현재 표현을 이에 정렬합니다. 이 두 메커니즘은 명시적이고 희소한 목표 지도와 암묵적이고 조밀한 단계별 안내를 매끄럽게 결합하여, 적은 계산 비용으로도 일관되고 목표 지향적인 추론 진행을 촉진합니다. 실험 결과에 따르면 ProAR의 상호보완적인 구성 요소들은 다양한 시각적 추론 벤치마크 전반에서 지속적으로 성능을 향상시키는 것으로 나타났습니다. 또한 이 프레임워크는 학습 단계의 25%만을 사용하여 완전히 학습된 표준 AR 베이스라인을 능가할 정도로 학습 효율성이 매우 높음을 입증했습니다. 아울러 이러한 패러다임은 체화된(embodied) 추론 태스크에 대해서도 유망한 적용 가능성을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.