arXiv:2610.00544v1 cs.CV

Memorizon: 컨텍스트 윈도우를 넘어서는 월드 모델 학습

Memorizon: Training World Models Beyond Their Context Window

Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu

제출 2026-09-30

저자 비고

arXiv Comments

Project page: https://tingtingliao.github.io/memorizon

한국어 초록

스트리밍 월드 모델(world model)은 반복적인 방문 전반에 걸쳐 한 장소를 일관되게 렌더링해야 합니다. 이러한 재방문을 직접 지도학습(supervision)하려면 두 방문을 모두 포착하는 학습(training) 샘플이 필요한데, 이는 종종 수 분에 걸쳐 발생합니다. 그러나 전체 구간에 대한 밀집 어텐션(dense attention)은 2차 비용(quadratic costs)을 초래하여 긴 구간의 지도학습을 비싸게 만듭니다. Memorizon은 이러한 결합을 끊어냅니다. 즉, 지도학습에는 긴 구간이 필요하지만 어텐션에는 필요하지 않은데, 두 방문이 중간에 위치한 모든 프레임을 포함하지 않고도 단일 순전파(forward pass)를 공유할 수 있기 때문입니다. 학습 샘플은 어떤 길이의 구간도 포괄하지만, 마지막 $k$개 청크에 대해서만 점수가 매겨집니다. 그 이전의 히스토리를 토큰화하는 대신, 점수가 매겨지는 각 청크는 카메라 공동 가시성(co-visibility)을 통해 자체 상위 $K$개의 잠재 변수(latent)를 검색하며, 이러한 요청들의 합집합이 공유 뱅크(bank)를 형성합니다. 이 뱅크는 $kK$로 제한되므로 구간이 아무리 길어도 시퀀스는 제한된 상태를 유지합니다. 가장 짧은 구간에서 이 방식은 정확히 기존 학습과 동일합니다. 뱅크를 추가하면 스텝당 비용이 한 번 증가하지만, 그 이상에서는 구간이 길어져도 비용이 거의 들지 않으며 100초에서 400초로 늘려도 스텝 시간은 12%만 증가합니다. 슬라이딩 윈도우 기준선(baseline)과 비교할 때, 검색을 통해 모든 분할에서 재방문 일관성이 향상되며, 각 회귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%를 추가로 향상시킵니다. 해당 구간을 넘어서면 길이가 더 길어져도 더 이상 도움이 되지 않습니다. 다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하므로, 모델이 검색된 정보를 실제로 활용함을 보여줍니다. 프로젝트 페이지: https://tingtingliao.github.io/memorizon

원문 초록

Streaming world models should render a place consistently across repeated visits. Directly supervising such revisits requires training samples that capture both visits, often spanning minutes. Yet dense attention over the full span incurs quadratic costs, making long-span supervision expensive. Memorizon breaks this coupling: long spans are needed for supervision, but not for attention, since the two visits can share a forward pass without including every intervening frame. A training sample covers a span of any length but is scored only on its last $k$ chunks. Instead of tokenizing the history before them, each scored chunk retrieves its own top-$K$ latents by camera co-visibility, and the union of these requests forms a shared bank. The bank is bounded by $kK$, so the sequence stays bounded however long the span; at the shortest span the recipe is exactly conventional training. Adding the bank raises the cost of a step once; beyond that, a longer span costs little, and going from 100 to 400 s adds 12% to the step time. Against a sliding-window baseline, retrieval raises revisit consistency on every split, and a span long enough to reach the first visit of each return adds a further 24% to 30%, at some cost in image quality; beyond that span, more length no longer helps. Filling the bank from another episode lowers revisit correlation by 83%, so the model uses what it retrieves. Project page: https://tingtingliao.github.io/memorizon

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00544v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02521v1cs.CV공통 태그 Retrieval, Video Generation, world models

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2610.02726v1cs.CV공통 태그 Novel View Synthesis, Video Generation, world models

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.15807v1cs.CV공통 태그 Novel View Synthesis, Video Generation

Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리

Totem: Object-Centric 3D Memory for World-Consistent Video Generation

통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.

arXiv:2610.13706v1cs.CV공통 태그 Novel View Synthesis, Video Generation

GLIMPSE: 탐색 가능한 비디오 월드 모델을 위한 다중 정밀도 스펙트럼 인코딩 기반 전역-지역 인덱싱

GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

카메라 제어 비디오 월드 모델(video world model)은 카메라가 이전 장면으로 되돌아올 때 장면의 일관성을 유지해야 합니다. 저장된 특징을 타깃 프레임으로 렌더링하는 메모리 방식은 깊이(depth) 및 포즈 오차로 인해 잔상(ghosting)이나 중복된 구조를 유발할 수 있습니다. 위치 이동(positional transport) 방식은 과거 패치의 내용을 리샘플링하는 대신 주소를 재배치함으로써 이러한 리샘플링 문제를 피하지만, 부정확한 투영에도 완전한 위치 정밀도(precision)를 부여한다는 한계가 있습니다. 본 연구에서는 대역별 다중 정밀도 좌표와 기하학 조건부 스펙트럼 감쇠를 갖춘 전역-지역 메모리 인터페이스인 GLIMPSE를 제안하여 부정확한 투영 주소에 대한 민감도를 줄입니다. 지역 패치 메모리는 시점 특화된 외형을 제공하는 반면, 순환 전역 메모리는 장면 문맥을 제공합니다. 또한 풋프린트 기반 검색(footprint-guided retrieval)은 고정된 지역 읽기 예산 내에서 과거 패치를 선택합니다. 동일한 검색 및 읽기 예산 조건에서 GLIMPSE는 결정론적 위치 이동 방식 대비 기하학적 대응성과 측광 일관성(photometric consistency)을 향상시킵니다.

arXiv:2609.34221v2cs.CV공통 태그 Novel View Synthesis, Video Generation

WorldWeave: 비디오 생성을 위한 지속적 기하학적 세계 확장

WorldWeave: Growing Persistent Geometric Worlds for Video Generation

급격한 발전에도 불구하고, 월드 모델은 여전히 명시적이고 지속적인 구조적 메모리가 부족하여 지속적인 장면 확장과 시점 간 재방문 과정에서 일관된 세계 구조를 유지하는 데 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 세계 상태 유지와 시각적 렌더링을 분리하는 세계 생성 프레임워크인 WorldWeave를 제안합니다. 구체적으로 WorldWeave는 지속적인 고도 지도(elevation map) 생성과 에이전트(agent) 기반 장면 구성 및 이어 붙이기를 결합하여, 기존 구조를 보존하면서 구조적 메모리를 점진적으로 확장하는 확장 가능한 명시적 3D 세계를 구축합니다. 먼저 지형 모듈은 이웃 조건화 및 경계 제약 조건 하에서 디퓨전 기반 이미지 아웃페인팅을 사용하여 연속적인 미터법 고도 지도를 생성합니다. 다음으로 에이전트는 계층적 의미론적 계획, 결정론적 기하 구조 컴파일 및 로컬 수정을 통해 사용자 의도, 지형 근거 및 지역 간 연결성 제약 조건을 통합하여 장면을 구성합니다. 마지막으로 시각적 생성 과정에서 계획된 카메라 궤적은 읽기 전용 인터페이스를 통해 세계 기하 구조를 쿼리하고, 생성된 결과를 세계 상태에 다시 쓰지 않으면서 비디오 합성을 유도하는 깊이 시퀀스를 생성합니다. 결과적으로 구조적 메모리는 짧은 윈도우의 비디오 생성과 독립적으로 유지되어 사전에 정의된 지도 경계 없이 지속적인 확장을 가능하게 하며, 여러 궤적 및 반복 방문 전반에 걸쳐 관측에 일관된 기하학적 기반을 제공합니다.

arXiv:2610.02451v1cs.CV공통 태그 Retrieval, Video Generation

산불 모니터링 및 보고를 위한 시뮬레이션 기반 에이전트 VLM 프레임워크

A Simulation-Grounded Agentic VLM Framework for Wildfire Monitoring and Reporting

효과적인 산불 모니터링을 위해서는 시각적 단서를 물리적 화재 역학(fire dynamics)과 연계해야 하지만, 물리적 주석이 동기화된 실제 비디오는 희소하며 고충실도(high-fidelity) 3D 시뮬레이션은 비용이 많이 듭니다. 본 논문에서는 2D 산불 시뮬레이션을 라벨이 지정된 비디오 에피소드로 자동 변환하는 시뮬레이션 기반(simulation-grounded) 비전-언어 모델(VLM) 프레임워크를 제시합니다. 고정된 Blender 매핑은 시뮬레이터 지형, 연료 배치, 화재 활동, 바람 단서에 정렬된 저세부도 3D 프록시를 생성하며, 제어 가능한 비디오 생성을 통해 더욱 풍부한 외형을 제공합니다. 이러한 프록시는 정교하게 렌더링된 최종 장면이라기보다는 중간 표현 역할을 합니다. 생성된 비디오와 시뮬레이터 라벨은 참조 에피소드를 검색하고 시각적 예측과 메모리 기반 예측을 조화시키며 정형화된 산불 보고서를 생성하는 학습(training) 불필요 다중 에이전트(multi-agent) VLM 시스템을 위한 재사용 가능한 멀티모달 메모리를 구성합니다. 홀드아웃(held-out)된 생성 에피소드에서 비디오 메모리는 직접적인 VLM 질의의 22.6%, 텍스트 전용 메모리의 16~17%에 비해 51.5%의 정확한 4개 태그 정확도를 달성했습니다. 전체 시스템은 시뮬레이터에서 파생된 6개 보고서 필드에서 77.3%의 정확도를 달성합니다. 구성 요소 제거 실험(ablation), 교차 생성기 테스트, 세 가지 실제 무인 항공기(UAV) 평가를 통해 검색, 보고, 생성기 변경 및 관찰 가능한 모니터링 작업을 평가합니다. 본 프레임워크는 실제 환경의 물리적 주석이 부족한 상황에서 자동 시뮬레이션-프록시 변환과 메모리 기반 VLM 추론을 연결합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.