Weave Forcing: 대화형 롱 비디오 생성을 위한 구성적 메모리 라우팅
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
최근 자기회귀(autoregressive) 비디오 생성의 발전으로 장시간에 걸친 시간적 일관성은 향상되었으나, 대화형 스토리텔링은 단순한 연속적 장면 확장을 넘어 이전의 서로 다른 샷들로부터 인물과 배경을 조합하는 새로운 샷을 요구하기도 합니다. 전체 프롬프트(prompt) 기반 검색은 개별 구성 요소의 서로 다른 참조 요구 사항을 간과할 수 있으며, 이전의 모든 메모리를 직접 결합하는 것은 무관한 시각적 콘텐츠를 유입시킬 수 있습니다. 이러한 문제를 해결하기 위해, 대화형 롱 비디오 생성에서 구성적 메모리 재사용을 위한 학습(training) 불필요 프레임워크인 Weave Forcing을 제안합니다. 먼저, 대규모 언어 모델(LLM)을 활용한 시맨틱 슬롯 라우팅을 통해 사용자 프롬프트를 인물 및 배경 설명으로 분해하고 각 구성 요소에 적합한 이전 참조를 명시적으로 선택합니다. 필요한 콘텐츠를 분리하기 위해, 마스크된 메모리 위빙(masked memory weaving)은 시맨틱 슬롯에 기반한 대조 어텐션(attention) 맵을 사용하여 정제된 시맨틱 마스크를 구성하고, 압축된 이전 KV 메모리로부터 관련 토큰을 선택적으로 노출하여 현재 샷의 생성을 유도합니다. 나아가 불완전한 이전 참조가 현재 생성 지점과 가깝게 위치할 때 관찰되는 시각적 아티팩트를 해결하기 위해, 참조의 미적용, 부분 적용, 완전 적용 범위에 맞춰 시간적 오프셋과 메모리 보존을 조정하는 커버리지 적응형 RoPE(coverage adaptive RoPE)를 도입합니다. 광범위한 실험을 통해 Weave Forcing이 경쟁력 있는 시각적 품질과 텍스트 정렬을 유지하면서 샷 간 피사체 및 배경 일관성을 향상함을 입증합니다.