Weave Forcing: 대화형 롱 비디오 생성을 위한 구성적 메모리 라우팅
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
한국어 초록
최근 자기회귀(autoregressive) 비디오 생성의 발전으로 장시간에 걸친 시간적 일관성은 향상되었으나, 대화형 스토리텔링은 단순한 연속적 장면 확장을 넘어 이전의 서로 다른 샷들로부터 인물과 배경을 조합하는 새로운 샷을 요구하기도 합니다. 전체 프롬프트(prompt) 기반 검색은 개별 구성 요소의 서로 다른 참조 요구 사항을 간과할 수 있으며, 이전의 모든 메모리를 직접 결합하는 것은 무관한 시각적 콘텐츠를 유입시킬 수 있습니다. 이러한 문제를 해결하기 위해, 대화형 롱 비디오 생성에서 구성적 메모리 재사용을 위한 학습(training) 불필요 프레임워크인 Weave Forcing을 제안합니다. 먼저, 대규모 언어 모델(LLM)을 활용한 시맨틱 슬롯 라우팅을 통해 사용자 프롬프트를 인물 및 배경 설명으로 분해하고 각 구성 요소에 적합한 이전 참조를 명시적으로 선택합니다. 필요한 콘텐츠를 분리하기 위해, 마스크된 메모리 위빙(masked memory weaving)은 시맨틱 슬롯에 기반한 대조 어텐션(attention) 맵을 사용하여 정제된 시맨틱 마스크를 구성하고, 압축된 이전 KV 메모리로부터 관련 토큰을 선택적으로 노출하여 현재 샷의 생성을 유도합니다. 나아가 불완전한 이전 참조가 현재 생성 지점과 가깝게 위치할 때 관찰되는 시각적 아티팩트를 해결하기 위해, 참조의 미적용, 부분 적용, 완전 적용 범위에 맞춰 시간적 오프셋과 메모리 보존을 조정하는 커버리지 적응형 RoPE(coverage adaptive RoPE)를 도입합니다. 광범위한 실험을 통해 Weave Forcing이 경쟁력 있는 시각적 품질과 텍스트 정렬을 유지하면서 샷 간 피사체 및 배경 일관성을 향상함을 입증합니다.
원문 초록
Recent advances in autoregressive video generation have improved temporal consistency over extended durations, yet interactive storytelling requires more than continuous scene extension: a new shot may combine characters and backgrounds from different historical shots. Whole prompt retrieval can overlook the distinct reference needs of individual components, while directly combining all historical memories may introduce unrelated visual content. To address these problems, we present Weave Forcing, a training-free framework for compositional memory reuse in interactive long video generation. First, we use an LLM for semantic slot routing to decompose user prompts into character and background descriptions and explicitly select suitable historical references for each component. To isolate the required content, masked memory weaving uses contrasting attention maps conditioned on semantic slots to construct refined semantic masks, selectively exposing relevant tokens from compressed historical KV memories to guide the generation of the current shot. We further introduce coverage adaptive RoPE to adjust temporal offsets and memory retention according to no, partial, or full reference coverage, addressing visual artifacts observed when incomplete historical references are positioned close to the current generation. Extensive experiments demonstrate that Weave Forcing improves cross-shot subject and background consistency while maintaining competitive visual quality and text alignment.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리
Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion
자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
테스트 시점의 긴 비디오 생성을 위한 분포 내 강제
In-Distribution Forcing for Long Video Generation at Test Time
현대의 자기회귀(AR) 비디오 확산 모델은 짧은 길이의 비디오 생성에는 뛰어나지만, 색상과 질감이 변하고 모션 동역학이 저하되는 표류(drifting) 현상으로 인해 긴 비디오 생성은 여전히 어려운 과제로 남아 있습니다. 기존 연구들은 주로 캐시된 키-값(KV) 항목을 선택하거나 수정하여 표류를 완화하는 KV 조건화(KV conditioning)에 의존합니다. 그러나 우리는 KV 조건화만으로는 캐시된 KV 항목이 분포 내(in-distribution)에 유지된다고 가정하기 때문에 불충분하다는 점을 관찰했습니다. 이 가정은 학습(training) 범위를 넘어서면 유효하지 않습니다. 즉, 롤아웃(rollout) 중에 KV 항목의 구성을 제한하는 요소가 없으므로 캐시된 항목 자체가 분포 외(OOD)가 되는 KV 출처 문제(KV-provenance problem)가 발생합니다. 이를 해결하기 위해 우리는 KV 캐싱과 KV 조건화 모두를 학습 구성과 일치시키는 테스트 시점 프레임워크인 분포 내 강제(In-Distribution Forcing, ID-Forcing)를 제안합니다. 핵심 메커니즘인 자체 캐싱(self-caching)은 근본적으로 OOD KV 항목의 생성을 방지합니다. 각 청크는 이전 KV 항목을 참조(attend)하지 않고 캐시되어 롤링 윈도우를 정확히 분포 내로 유지합니다. 그 결과, ID-Forcing은 짧은 길이의 모델을 분 단위 규모의 비디오 생성으로 매끄럽게 확장합니다. 광범위한 평가를 통해 본 연구의 방법이 표준 비디오 생성 벤치마크에서 경쟁력을 유지하면서도, 자체 표류 지표와 사용자 조사를 통해 검증된 바와 같이 표류 완화 측면에서 이전 연구들을 크게 능가함을 보여줍니다.
TRAC: 효율적인 자기회귀 비디오 생성을 위한 궤적 인식 재사용 및 적응형 보정
TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation
본 논문에서는 효율적인 자기회귀(AR) 비디오 생성을 위한 학습(training) 불필요 프레임워크인 TRAC(trajectory-aware reuse and adaptive correction)을 제시합니다. 기존의 가속 기법들은 주로 양방향 어텐션(attention)을 사용하는 단일 궤적 생성을 목표로 합니다. 반면 AR 비디오 생성은 청크(chunk) 단위의 노이즈 제거 궤적들을 순차적으로 결합합니다. 그 결과, 생성 과정 전반에 걸쳐 근사 오차가 누적되고 전파됩니다. TRAC은 견고한 누적 스케줄링(RCS), 자기회귀 궤적 인식 가이던스 스케줄링(ATGS), 스펙트럼 구조 보정(SSC)의 세 가지 구성 요소로 이 문제를 해결합니다. RCS는 누적 롤아웃(rollout) 오차와 청크 간/프롬프트(prompt) 변동을 기반으로 캐시 재사용 일정을 선택합니다. ATGS는 전체 AR 궤적을 따라 CFG 갱신을 조율합니다. SSC는 첫 번째 청크의 저주파 구조를 복원하여 장기적인 구조적 손실(loss)을 바로잡습니다. SkyReels-V2 및 FramePack-F1에 대한 실험 결과, TRAC은 기존 방법들과 비교하여 AR 비디오 생성에서 가장 높은 추론(inference) 효율성과 최고의 생성 품질을 모두 달성함을 보여줍니다.
Custom Forcing: 자기회귀 비디오 생성을 위한 학습 불필요 피사체 커스터마이징
Custom Forcing: Training-Free Subject Customization for Autoregressive Video Generation
자기회귀(autoregressive) 비디오 모델은 실시간으로 분 단위의 긴 비디오를 생성할 수 있지만, 사용자가 제공한 이미지 속 특정 피사체가 아닌 텍스트 기반의 일반적인 피사체를 생성합니다. 기존의 커스터마이징 방법들은 피사체마다 값비싼 최적화(optimization)를 요구하거나, 양방향 어텐션(bidirectional attention)으로 모든 비디오 프레임을 공동 처리하는 사전학습된 조건화 네트워크를 사용합니다. 두 접근 방식 모두 인과적 스트리밍(causal streaming)을 고려하여 설계되지 않았습니다. 본 논문에서는 동결된 자기회귀 비디오 모델의 영구 KV 캐시에 참조 기반 앵커 프레임을 저장하는 학습 불필요(training-free) 방법인 Custom Forcing을 제안합니다. 그러나 고정된 앵커는 두 가지 한계에 직면합니다. 단순 조건화는 신원(identity) 드리프트를 유발하며, 텍스트 프롬프트는 여전히 일반적인 피사체를 선호합니다. 이러한 문제를 해결하기 위해, 드리프트 적응형 값 증폭(DVA)은 신원 드리프트 정도에 따라 참조의 영향력을 조절하고, 앵커 대조 유도(ACG)는 생성이 일반 클래스 사전 분포(prior)에서 벗어나도록 유도합니다. 2분 길이의 롤아웃 동안 고정된 앵커는 DINO-I 지표에서 0.58에서 0.42로 떨어지는 반면, Custom Forcing은 모션을 줄이지 않고도 이를 0.58에서 0.62 사이로 유지합니다. 또한 Custom Forcing은 양방향 커스터마이징 방법보다 더 높은 피사체 유사도를 달성하고 인과적 image-to-video 및 reference-to-video 모델보다 30초 이상 신원을 더 잘 보존하는 동시에, 이러한 롱 비디오 베이스라인보다 각 프레임을 9.5~28.5배 더 빠르게 생성합니다.
DuoMatching: 소수 스텝 비디오 생성을 위한 결합-주변 분포 매칭
DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation
스트리밍 비디오 생성은 실제 비디오 분포에 대한 비디오 교사(teacher) 모델의 근사치에 비디오 프레임의 결합 분포(joint distribution)를 맞추는 분포 매칭 증류(DMD)의 이점을 활용해 왔습니다. 이러한 결합 매칭은 자기회귀 롤아웃 과정에서 발생하는 드리프트를 완화하지만, 시각적 품질과 의미론적 정렬(semantic alignment) 측면에서는 여전히 한계가 존재합니다. 이러한 한계를 해결하기 위해, 우리는 통합된 결합-주변(joint-marginal) 정식화를 통해 실제 비디오 분포를 근사하는 분포 매칭 프레임워크인 DuoMatching을 제안합니다. 기존의 결합 매칭 정식화 위에 추가적인 주변 매칭 목표를 도입하여 이미지 생성기로부터 전용 프레임 수준의 지도(supervision)를 제공함으로써, 상호 보완적인 시각적 및 의미론적 사전 정보(priors)를 전이합니다. 비디오 생성에 이러한 프레임 수준의 지도를 적용하기 위해, 비디오 학생(student)과 이미지 교사 모델 간의 잠재 표현(latent representation) 불일치를 해결하는 LatentBridge를 도입합니다. 또한 Latent Variation Sampling은 이러한 프레임 수준 지도를 서로 다른 시간 세그먼트에 분산시켜 중복성을 줄입니다. 실험을 통해 DuoMatching이 모션 동역학을 대부분 유지하면서 시각적 품질, 구도, 의미론적 정렬을 향상시킴을 입증했습니다. 사람 평가(human evaluation)에서는 평가된 모든 베이스라인 대비 80% 이상의 전반적인 선호도를 기록했습니다. 프로젝트 페이지는 https://johnzhan2023.github.io/DuoMatching/ 에서 확인할 수 있습니다.
ProAR: 자기회귀 비디오 모델을 통한 전향적 추론 학습
ProAR: Learning Prospective Reasoning with Autoregressive Video Models
자기회귀(AR) 비디오 모델은 인과적 생성에 뛰어나지만, 다음 청크 예측(next-chunk prediction)에 의존하기 때문에 근시안적이고 반응적인 패러다임에 머무르게 됩니다. 이러한 한계는 국소적인 시각적 타당성보다 유효한 중간 상태를 거쳐 목표 결과를 달성하는 것이 더 중요한 추론 중심 생성에서 특히 중대한 영향을 미칩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 자기회귀 비디오 생성을 목표 지향적 추론 과정으로 변환하는 새로운 프레임워크인 ProAR(Learning Prospective Reasoning with Autoregressive Video Models)을 제안합니다. ProAR은 두 가지 핵심 구성 요소를 도입합니다: (1) 생성을 장기적인 결과에 고정하기 위해 비대칭 어텐션 마스크를 통해 목표 프레임 예측을 자기회귀 루프에 통합함으로써, 예측된 목표 프레임이 중간 상태의 간섭을 받지 않고 그 생성을 유도할 수 있도록 합니다. (2) 단기 전환을 유도하기 위해 현재 은닉 상태가 다가올 시간적 동역학을 예측하도록 장려하는 미래 표현 자기 정렬(future representation self-alignment)을 도입합니다. AR 학습에서 티처 포싱(teacher-forcing)을 활용하여 단일 순전파에서 깔끔한 미래 표현을 추출하고, 학습 시에만 사용되는 경량 예측기를 사용해 현재 표현을 이에 정렬합니다. 이 두 메커니즘은 명시적이고 희소한 목표 지도와 암묵적이고 조밀한 단계별 안내를 매끄럽게 결합하여, 적은 계산 비용으로도 일관되고 목표 지향적인 추론 진행을 촉진합니다. 실험 결과에 따르면 ProAR의 상호보완적인 구성 요소들은 다양한 시각적 추론 벤치마크 전반에서 지속적으로 성능을 향상시키는 것으로 나타났습니다. 또한 이 프레임워크는 학습 단계의 25%만을 사용하여 완전히 학습된 표준 AR 베이스라인을 능가할 정도로 학습 효율성이 매우 높음을 입증했습니다. 아울러 이러한 패러다임은 체화된(embodied) 추론 태스크에 대해서도 유망한 적용 가능성을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.