현대의 자기회귀(AR) 비디오 확산 모델은 짧은 길이의 비디오 생성에는 뛰어나지만, 색상과 질감이 변하고 모션 동역학이 저하되는 표류(drifting) 현상으로 인해 긴 비디오 생성은 여전히 어려운 과제로 남아 있습니다. 기존 연구들은 주로 캐시된 키-값(KV) 항목을 선택하거나 수정하여 표류를 완화하는 KV 조건화(KV conditioning)에 의존합니다. 그러나 우리는 KV 조건화만으로는 캐시된 KV 항목이 분포 내(in-distribution)에 유지된다고 가정하기 때문에 불충분하다는 점을 관찰했습니다. 이 가정은 학습(training) 범위를 넘어서면 유효하지 않습니다. 즉, 롤아웃(rollout) 중에 KV 항목의 구성을 제한하는 요소가 없으므로 캐시된 항목 자체가 분포 외(OOD)가 되는 KV 출처 문제(KV-provenance problem)가 발생합니다. 이를 해결하기 위해 우리는 KV 캐싱과 KV 조건화 모두를 학습 구성과 일치시키는 테스트 시점 프레임워크인 분포 내 강제(In-Distribution Forcing, ID-Forcing)를 제안합니다. 핵심 메커니즘인 자체 캐싱(self-caching)은 근본적으로 OOD KV 항목의 생성을 방지합니다. 각 청크는 이전 KV 항목을 참조(attend)하지 않고 캐시되어 롤링 윈도우를 정확히 분포 내로 유지합니다. 그 결과, ID-Forcing은 짧은 길이의 모델을 분 단위 규모의 비디오 생성으로 매끄럽게 확장합니다. 광범위한 평가를 통해 본 연구의 방법이 표준 비디오 생성 벤치마크에서 경쟁력을 유지하면서도, 자체 표류 지표와 사용자 조사를 통해 검증된 바와 같이 표류 완화 측면에서 이전 연구들을 크게 능가함을 보여줍니다.
최근 자기회귀(autoregressive) 비디오 생성의 발전으로 장시간에 걸친 시간적 일관성은 향상되었으나, 대화형 스토리텔링은 단순한 연속적 장면 확장을 넘어 이전의 서로 다른 샷들로부터 인물과 배경을 조합하는 새로운 샷을 요구하기도 합니다. 전체 프롬프트(prompt) 기반 검색은 개별 구성 요소의 서로 다른 참조 요구 사항을 간과할 수 있으며, 이전의 모든 메모리를 직접 결합하는 것은 무관한 시각적 콘텐츠를 유입시킬 수 있습니다. 이러한 문제를 해결하기 위해, 대화형 롱 비디오 생성에서 구성적 메모리 재사용을 위한 학습(training) 불필요 프레임워크인 Weave Forcing을 제안합니다. 먼저, 대규모 언어 모델(LLM)을 활용한 시맨틱 슬롯 라우팅을 통해 사용자 프롬프트를 인물 및 배경 설명으로 분해하고 각 구성 요소에 적합한 이전 참조를 명시적으로 선택합니다. 필요한 콘텐츠를 분리하기 위해, 마스크된 메모리 위빙(masked memory weaving)은 시맨틱 슬롯에 기반한 대조 어텐션(attention) 맵을 사용하여 정제된 시맨틱 마스크를 구성하고, 압축된 이전 KV 메모리로부터 관련 토큰을 선택적으로 노출하여 현재 샷의 생성을 유도합니다. 나아가 불완전한 이전 참조가 현재 생성 지점과 가깝게 위치할 때 관찰되는 시각적 아티팩트를 해결하기 위해, 참조의 미적용, 부분 적용, 완전 적용 범위에 맞춰 시간적 오프셋과 메모리 보존을 조정하는 커버리지 적응형 RoPE(coverage adaptive RoPE)를 도입합니다. 광범위한 실험을 통해 Weave Forcing이 경쟁력 있는 시각적 품질과 텍스트 정렬을 유지하면서 샷 간 피사체 및 배경 일관성을 향상함을 입증합니다.
에이전트형 장시간 비디오 생성은 긴 지평에 걸친 계획 수립, 도구 오케스트레이션, 클립 간 조율을 필요로 한다. 기존 비디오 에이전트 대부분은 상당한 수작업이 필요하고 과제 간 적응이 떨어지는 정적·수동 설계 워크플로에 의존하거나, 현재 과제의 출력을 반복적으로 개선하면서도 실행 경험을 이후 과제에 재사용 가능한 스킬로 지속적으로 증류하지 않는다. 우리는 장시간 비디오 생성을 위한 스킬을 평가하고 진화시키는 에이전트 하네스이자 벤치마크인 VideoWeaver를 소개한다. 단일 고수준 지시가 주어지면, 에이전트는 미리 정의된 파이프라인을 따르기보다 기초 스킬을 동적으로 조합하여 자체 워크플로를 구성한다. 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 아우르는 참조와 함께 16개 과제 범주와 285개 사례로 구성된 벤치마크를 구축한다. 나아가 실행 추적과 최종 비디오를 모두 검사하여 과정 및 출력 실패를 진단하는 증거에 그라운딩된 agent-as-judge를 제안한다. 이 피드백을 바탕으로 우리의 진화 알고리즘은 범주 수준의 조합 스킬과 생성자 스킬을 점진적으로 정제하여, 반복되는 경험이 미지의 사례에 대해 동적으로 구성된 워크플로를 안내하도록 한다. 실험 결과, 명시적 조합 스킬은 기초 스킬만 사용하는 경우보다 생성 과정을 개선하며, 스킬 진화는 출력 품질을 더욱 향상시키고 미지의 사례로 일반화된다. 판정자 피드백을 반영하면 특히 출력 지표에서 추가 향상이 있으며, agent-as-judge는 특히 과정 지표에서 인간과 잘 일치한다. 코드는 https://github.com/JianhuiWei7/VideoWeaver 에서 이용할 수 있다.
최근 영상 생성의 발전으로 분 단위 합성이 가능해졌지만, 오류 누적, 속성 드리프트(attribute drift), 장편 영상 데이터의 제한적 가용성으로 인해 긴 영상 생성은 여전히 어렵다. 본 논문에서는 이러한 문제 해결에 초점을 맞춘 무한 길이 영상 생성 프레임워크를 제안하며, 고품질·역동적·정체성 일관성을 갖춘 단일 샷(single-shot) 장편 영상을 생성한다. 먼저 대규모 단편 영상 데이터로 확산 모델(diffusion model)을 영상 연장 모델로 파인튜닝하여 시간적으로 일관된 클립을 자기회귀적으로 생성한다. 대규모 언어 모델(LLM)의 성공에 영감을 받아, 클립 간 인과적(causal) 어텐션 계산을 도입하여 장편 영상 데이터로 이 모델을 추가 파인튜닝한다. 이를 통해 한 클립(단편 영상) 내 토큰은 양방향 어텐션으로, 클립 간 토큰은 단방향 어텐션으로 계산된다. 이 설계는 현대 확산 모델의 강점을 활용하면서 장기 문맥 정보를 보존하여 오류 누적과 속성 드리프트를 효과적으로 완화한다. 추론 시 메모리 효율을 위해 키-값(KV) 캐싱 메커니즘을 도입하여 KV 메모리를 일정하게 유지한다. 또한 오류 누적을 더 억제하기 위해 절단 보정 흐름(truncation-rectified flow, T-RFlow) 기법을 제안한다. 실험 결과는 제안 방법의 효과를 보여준다. 본 프레임워크는 사실적이고 일관된 분 단위 영상 합성의 새로운 벤치마크를 제시한다.