PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02153v1cs.CV

MosaiChunk: 자기회귀 비디오 생성을 위한 시공간 메모리 합성

MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation

장기(long-horizon) 자기회귀 비디오 생성은 유한한 컨텍스트 윈도우(context window)로 인해 제약을 받습니다. 물체나 장면이 컨텍스트를 벗어나면 세밀한 시각적 디테일이 손실되어 다시 나타날 때 복구하기 어려울 수 있습니다. 이러한 시각적 디테일에 지속적으로 접근할 수 있도록, 공간과 시간에 걸쳐 선별된 과거 키-값(KV) 항목들의 모자이크를 합성하는 시공간 메모리 메커니즘인 MosaiChunk를 제안합니다. 본 연구는 동결된(frozen) 비디오 생성기가 이처럼 비연속적인 과거 KV를 직접 활용하여 해당하는 시각적 콘텐츠를 복구할 수 있다는 관찰에서 출발합니다. 따라서 생성기는 고정한 채, 고정된 활성 메모리 예산 내에서 모자이크에 포함할 과거 구간을 결정하는 경량 라우터만을 학습합니다. 나아가 프롬프트(prompt) 기반 텍스트-비디오(T2V) 및 카메라 제어 기반 이미지-비디오(I2V) 분할로 구성된 장기 재방문 벤치마크인 RememBench를 소개합니다. 실험 결과에 따르면, MosaiChunk는 동일한 메모리 예산 조건에서 슬라이딩 윈도우 추론(inference) 및 전체 청크 검색 방식 모두와 비교해 T2V와 I2V 설정 전반에서 재방문 일관성을 일관되게 향상시키는 것으로 나타났습니다.