PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.37690v2cs.CV

Honeycomb: 비디오 월드 모델을 위한 고정 크기 씬 메모리 표현

Honeycomb: Constant-Size Scene Memory Representation for Video World Models

비디오 월드 모델(video world model)은 장기(long-horizon) 비디오 생성 과정에서 일관성을 유지하기 위해 지속적인 씬 메모리(scene memory)를 필요로 합니다. 기존의 공간 메모리는 RGB 관측치나 잠재 특징(latent feature)을 누적하므로 생성이 진행됨에 따라 저장 공간 요구량이 증가합니다. 본 논문에서는 총 6개의 공간 및 시공간 평면을 갖는 고정 크기 메모리에 씬 특징을 저장하기 위해 제안된 저순위(low-rank) 표현인 HexMemory를 기반으로 구축된 비디오 월드 모델 Honeycomb을 소개합니다. 피드포워드 방식의 기록기(writer)는 생성된 각 청크(chunk)를 새로운 평면 특징으로 매핑합니다. 공간적 범위나 시간적 범위가 확장됨에 따라, 이전 평면의 차원을 유지하면서 워핑(warping)한 뒤 신뢰도 가중 풀링(confidence-weighted pooling) 및 학습된 잔차 보정(residual correction)을 통해 새로운 특징과 융합합니다. 판독기(reader)는 HexMemory에서 잠재 변수(latent)를 검색하여 후속 비디오 생성의 조건으로 사용합니다. 기록기는 새 청크의 관측치만 처리하므로 씬별 최적화와 전체 이력에 대한 반복 처리를 피할 수 있습니다. WorldScore 및 RealEstate10K 데이터셋에서의 실험을 통해, 생성 과정 전반에 걸쳐 HexMemory 특징 저장 용량을 일정하게 유지하면서도 우수한 비디오 생성 품질과 견고한 재방문(revisit) 일관성을 보여줍니다. 코드와 추가 시각화 자료는 프로젝트 페이지(https://jackswl.github.io/honeycomb/)에서 확인할 수 있습니다.