arXiv:2610.02153v1 cs.CV

MosaiChunk: 자기회귀 비디오 생성을 위한 시공간 메모리 합성

MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation

Yiwen Zhang, Haocheng Xi, Michael Tian-Yue Liu, Alexei A. Efros, Hadar Averbuch-Elor, Qianqian Wang, Haiwen Feng

제출 2026-10-01

저자 비고

arXiv Comments

27 pages. Project page: https://mosaichunk.github.io/

한국어 초록

장기(long-horizon) 자기회귀 비디오 생성은 유한한 컨텍스트 윈도우(context window)로 인해 제약을 받습니다. 물체나 장면이 컨텍스트를 벗어나면 세밀한 시각적 디테일이 손실되어 다시 나타날 때 복구하기 어려울 수 있습니다. 이러한 시각적 디테일에 지속적으로 접근할 수 있도록, 공간과 시간에 걸쳐 선별된 과거 키-값(KV) 항목들의 모자이크를 합성하는 시공간 메모리 메커니즘인 MosaiChunk를 제안합니다. 본 연구는 동결된(frozen) 비디오 생성기가 이처럼 비연속적인 과거 KV를 직접 활용하여 해당하는 시각적 콘텐츠를 복구할 수 있다는 관찰에서 출발합니다. 따라서 생성기는 고정한 채, 고정된 활성 메모리 예산 내에서 모자이크에 포함할 과거 구간을 결정하는 경량 라우터만을 학습합니다. 나아가 프롬프트(prompt) 기반 텍스트-비디오(T2V) 및 카메라 제어 기반 이미지-비디오(I2V) 분할로 구성된 장기 재방문 벤치마크인 RememBench를 소개합니다. 실험 결과에 따르면, MosaiChunk는 동일한 메모리 예산 조건에서 슬라이딩 윈도우 추론(inference) 및 전체 청크 검색 방식 모두와 비교해 T2V와 I2V 설정 전반에서 재방문 일관성을 일관되게 향상시키는 것으로 나타났습니다.

원문 초록

Long-horizon autoregressive video generation is limited by a finite context window. When an object or scene falls out of context, its fine-grained visual details may be lost and difficult to recover upon reappearance. To retain access to such visual details, we introduce MosaiChunk, a spatio-temporal memory mechanism that composes a mosaic of selected historical key-value (KV) entries across space and time. Our approach is motivated by the observation that a frozen video generator can directly consume such non-contiguous historical KV and recover the corresponding visual content. We therefore keep the generator fixed and learn only a lightweight router that determines which historical sections to include in the mosaic under a fixed active-memory budget. We further introduce RememBench, a benchmark of long-horizon revisits with prompt-driven text-to-video (T2V) and camera-driven image-to-video (I2V) splits. Our experiments show that MosaiChunk consistently improves revisit consistency over both sliding-window inference and whole-chunk retrieval under matched memory budgets, across both T2V and I2V settings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02153v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15922v1cs.CV공통 태그 Video Generation, autoregressive video generation

Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리

Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion

자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.

arXiv:2610.02451v1cs.CV공통 태그 Retrieval, Video Generation

산불 모니터링 및 보고를 위한 시뮬레이션 기반 에이전트 VLM 프레임워크

A Simulation-Grounded Agentic VLM Framework for Wildfire Monitoring and Reporting

효과적인 산불 모니터링을 위해서는 시각적 단서를 물리적 화재 역학(fire dynamics)과 연계해야 하지만, 물리적 주석이 동기화된 실제 비디오는 희소하며 고충실도(high-fidelity) 3D 시뮬레이션은 비용이 많이 듭니다. 본 논문에서는 2D 산불 시뮬레이션을 라벨이 지정된 비디오 에피소드로 자동 변환하는 시뮬레이션 기반(simulation-grounded) 비전-언어 모델(VLM) 프레임워크를 제시합니다. 고정된 Blender 매핑은 시뮬레이터 지형, 연료 배치, 화재 활동, 바람 단서에 정렬된 저세부도 3D 프록시를 생성하며, 제어 가능한 비디오 생성을 통해 더욱 풍부한 외형을 제공합니다. 이러한 프록시는 정교하게 렌더링된 최종 장면이라기보다는 중간 표현 역할을 합니다. 생성된 비디오와 시뮬레이터 라벨은 참조 에피소드를 검색하고 시각적 예측과 메모리 기반 예측을 조화시키며 정형화된 산불 보고서를 생성하는 학습(training) 불필요 다중 에이전트(multi-agent) VLM 시스템을 위한 재사용 가능한 멀티모달 메모리를 구성합니다. 홀드아웃(held-out)된 생성 에피소드에서 비디오 메모리는 직접적인 VLM 질의의 22.6%, 텍스트 전용 메모리의 16~17%에 비해 51.5%의 정확한 4개 태그 정확도를 달성했습니다. 전체 시스템은 시뮬레이터에서 파생된 6개 보고서 필드에서 77.3%의 정확도를 달성합니다. 구성 요소 제거 실험(ablation), 교차 생성기 테스트, 세 가지 실제 무인 항공기(UAV) 평가를 통해 검색, 보고, 생성기 변경 및 관찰 가능한 모니터링 작업을 평가합니다. 본 프레임워크는 실제 환경의 물리적 주석이 부족한 상황에서 자동 시뮬레이션-프록시 변환과 메모리 기반 VLM 추론을 연결합니다.

arXiv:2610.02521v1cs.CV공통 태그 Retrieval, Video Generation

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2610.02779v1cs.CV공통 태그 Video Generation, autoregressive video generation

TRAC: 효율적인 자기회귀 비디오 생성을 위한 궤적 인식 재사용 및 적응형 보정

TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation

본 논문에서는 효율적인 자기회귀(AR) 비디오 생성을 위한 학습(training) 불필요 프레임워크인 TRAC(trajectory-aware reuse and adaptive correction)을 제시합니다. 기존의 가속 기법들은 주로 양방향 어텐션(attention)을 사용하는 단일 궤적 생성을 목표로 합니다. 반면 AR 비디오 생성은 청크(chunk) 단위의 노이즈 제거 궤적들을 순차적으로 결합합니다. 그 결과, 생성 과정 전반에 걸쳐 근사 오차가 누적되고 전파됩니다. TRAC은 견고한 누적 스케줄링(RCS), 자기회귀 궤적 인식 가이던스 스케줄링(ATGS), 스펙트럼 구조 보정(SSC)의 세 가지 구성 요소로 이 문제를 해결합니다. RCS는 누적 롤아웃(rollout) 오차와 청크 간/프롬프트(prompt) 변동을 기반으로 캐시 재사용 일정을 선택합니다. ATGS는 전체 AR 궤적을 따라 CFG 갱신을 조율합니다. SSC는 첫 번째 청크의 저주파 구조를 복원하여 장기적인 구조적 손실(loss)을 바로잡습니다. SkyReels-V2 및 FramePack-F1에 대한 실험 결과, TRAC은 기존 방법들과 비교하여 AR 비디오 생성에서 가장 높은 추론(inference) 효율성과 최고의 생성 품질을 모두 달성함을 보여줍니다.

arXiv:2610.02914v1cs.CV공통 태그 Video Generation, autoregressive video generation

Custom Forcing: 자기회귀 비디오 생성을 위한 학습 불필요 피사체 커스터마이징

Custom Forcing: Training-Free Subject Customization for Autoregressive Video Generation

자기회귀(autoregressive) 비디오 모델은 실시간으로 분 단위의 긴 비디오를 생성할 수 있지만, 사용자가 제공한 이미지 속 특정 피사체가 아닌 텍스트 기반의 일반적인 피사체를 생성합니다. 기존의 커스터마이징 방법들은 피사체마다 값비싼 최적화(optimization)를 요구하거나, 양방향 어텐션(bidirectional attention)으로 모든 비디오 프레임을 공동 처리하는 사전학습된 조건화 네트워크를 사용합니다. 두 접근 방식 모두 인과적 스트리밍(causal streaming)을 고려하여 설계되지 않았습니다. 본 논문에서는 동결된 자기회귀 비디오 모델의 영구 KV 캐시에 참조 기반 앵커 프레임을 저장하는 학습 불필요(training-free) 방법인 Custom Forcing을 제안합니다. 그러나 고정된 앵커는 두 가지 한계에 직면합니다. 단순 조건화는 신원(identity) 드리프트를 유발하며, 텍스트 프롬프트는 여전히 일반적인 피사체를 선호합니다. 이러한 문제를 해결하기 위해, 드리프트 적응형 값 증폭(DVA)은 신원 드리프트 정도에 따라 참조의 영향력을 조절하고, 앵커 대조 유도(ACG)는 생성이 일반 클래스 사전 분포(prior)에서 벗어나도록 유도합니다. 2분 길이의 롤아웃 동안 고정된 앵커는 DINO-I 지표에서 0.58에서 0.42로 떨어지는 반면, Custom Forcing은 모션을 줄이지 않고도 이를 0.58에서 0.62 사이로 유지합니다. 또한 Custom Forcing은 양방향 커스터마이징 방법보다 더 높은 피사체 유사도를 달성하고 인과적 image-to-video 및 reference-to-video 모델보다 30초 이상 신원을 더 잘 보존하는 동시에, 이러한 롱 비디오 베이스라인보다 각 프레임을 9.5~28.5배 더 빠르게 생성합니다.

arXiv:2610.03510v1cs.CV공통 태그 Video Generation, autoregressive video generation

Weave Forcing: 대화형 롱 비디오 생성을 위한 구성적 메모리 라우팅

Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation

최근 자기회귀(autoregressive) 비디오 생성의 발전으로 장시간에 걸친 시간적 일관성은 향상되었으나, 대화형 스토리텔링은 단순한 연속적 장면 확장을 넘어 이전의 서로 다른 샷들로부터 인물과 배경을 조합하는 새로운 샷을 요구하기도 합니다. 전체 프롬프트(prompt) 기반 검색은 개별 구성 요소의 서로 다른 참조 요구 사항을 간과할 수 있으며, 이전의 모든 메모리를 직접 결합하는 것은 무관한 시각적 콘텐츠를 유입시킬 수 있습니다. 이러한 문제를 해결하기 위해, 대화형 롱 비디오 생성에서 구성적 메모리 재사용을 위한 학습(training) 불필요 프레임워크인 Weave Forcing을 제안합니다. 먼저, 대규모 언어 모델(LLM)을 활용한 시맨틱 슬롯 라우팅을 통해 사용자 프롬프트를 인물 및 배경 설명으로 분해하고 각 구성 요소에 적합한 이전 참조를 명시적으로 선택합니다. 필요한 콘텐츠를 분리하기 위해, 마스크된 메모리 위빙(masked memory weaving)은 시맨틱 슬롯에 기반한 대조 어텐션(attention) 맵을 사용하여 정제된 시맨틱 마스크를 구성하고, 압축된 이전 KV 메모리로부터 관련 토큰을 선택적으로 노출하여 현재 샷의 생성을 유도합니다. 나아가 불완전한 이전 참조가 현재 생성 지점과 가깝게 위치할 때 관찰되는 시각적 아티팩트를 해결하기 위해, 참조의 미적용, 부분 적용, 완전 적용 범위에 맞춰 시간적 오프셋과 메모리 보존을 조정하는 커버리지 적응형 RoPE(coverage adaptive RoPE)를 도입합니다. 광범위한 실험을 통해 Weave Forcing이 경쟁력 있는 시각적 품질과 텍스트 정렬을 유지하면서 샷 간 피사체 및 배경 일관성을 향상함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.