사용자 비디오 컬렉션 기반의 메모리 유도 B-roll 생성
Memory-Guided B-Roll Generation from User Video Collections
한국어 초록
본 논문에서는 컬렉션에 그라운딩(grounding)된 B-roll 시퀀스 생성 접근법을 소개합니다. 사용자의 비디오 컬렉션, 자연어로 제공된 지시사항, 목표 재생 시간이 주어지면, 컬렉션의 인물, 배경, 객체 및 스타일을 보존하면서 사용자의 주요 영상(A-roll)을 보완하는 멀티샷 시퀀스를 생성하는 것이 목표입니다. 이 과제는 시퀀스의 각 샷 생성을 유도할 시각적 증거를 수 시간 분량의 촬영 영상에서 선별해야 하므로 매우 까다롭습니다. 저자들은 원본 영상 자료를 시각적 참조(인물, 배경, 객체 및 스타일)를 갖춘 구조화된 메모리로 변환하고, 이를 활용해 그라운딩된 B-roll 시퀀스를 계획, 검색 및 생성하는 3단계 시스템인 MemComposer를 통해 이 문제를 해결합니다. 첫째, 1회성 오프라인 단계에서 MemComposer는 원본 비디오로부터 엔티티 중심 메모리를 구축합니다. 둘째, 메모리와 사용자 지시사항을 활용하여 그라운딩된 시퀀스를 계획하고 각 샷에 대한 조건화 프레임을 검색합니다. 셋째, 정체성, 배경 및 시퀀스 수준의 일관성을 확보하기 위해 시퀀스를 반복적으로 생성하고 평가(critique)합니다. 저자들은 프롬프트(prompt) 준수도와 사용자 컬렉션에 대한 시각적 일치도라는 두 가지 차원에서 사용자 선호도 조사를 통해 MemComposer를 평가합니다. 그라운딩되지 않은 텍스트-비디오 플래너와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 60.0\%, 시각적 일치도 비교에서 92.8\% 승리하여 컬렉션 메모리 및 참조 검색의 그라운딩 효과를 입증했습니다. 촬영 영상에서 편집된 검색 전용 시퀀스와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 94.5\% 승리하여 누락된 샷 생성의 가치를 보여주었으며, 시각적 일치도에서는 검색 전용 시퀀스가 58.2\%의 비교에서 선호되었습니다.
원문 초록
We introduce an approach for collection-grounded B-roll sequence generation. Given a user's video collection, a directive given in natural language, and a target duration, the goal is to produce a multi-shot sequence that complements the user's primary footage (A-roll) while preserving the collection's characters, settings, objects, and style. This task is challenging as one must choose the visual evidence from hours of captured footage that should guide the generation of each shot in the sequence. We address this challenge with MemComposer, a three-stage system that turns raw footage into a structured memory with visual references (characters, settings, objects, and style) and uses it to plan, retrieve, and generate grounded B-roll sequences. First, in a one-time offline stage, MemComposer constructs an entity-centric memory from raw video. Second, it uses the memory and user directive to plan a grounded sequence and retrieve conditioning frames for each shot. Third, it iteratively generates and critiques the sequence to enforce identity, setting, and sequence-level consistency. We evaluate MemComposer in a user preference study along two dimensions: prompt adherence and visual alignment to the user's collection. Against an ungrounded text-to-video planner, MemComposer wins 60.0\% of prompt-adherence and 92.8\% of visual-alignment comparisons, showing the grounding benefit of collection memory and reference retrieval. Against retrieval-only sequences assembled from captured footage, MemComposer wins 94.5\% of prompt-adherence comparisons, showing the value of generating missing shots, while retrieval-only sequences are preferred for visual alignment in 58.2\% of comparisons.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
산불 모니터링 및 보고를 위한 시뮬레이션 기반 에이전트 VLM 프레임워크
A Simulation-Grounded Agentic VLM Framework for Wildfire Monitoring and Reporting
효과적인 산불 모니터링을 위해서는 시각적 단서를 물리적 화재 역학(fire dynamics)과 연계해야 하지만, 물리적 주석이 동기화된 실제 비디오는 희소하며 고충실도(high-fidelity) 3D 시뮬레이션은 비용이 많이 듭니다. 본 논문에서는 2D 산불 시뮬레이션을 라벨이 지정된 비디오 에피소드로 자동 변환하는 시뮬레이션 기반(simulation-grounded) 비전-언어 모델(VLM) 프레임워크를 제시합니다. 고정된 Blender 매핑은 시뮬레이터 지형, 연료 배치, 화재 활동, 바람 단서에 정렬된 저세부도 3D 프록시를 생성하며, 제어 가능한 비디오 생성을 통해 더욱 풍부한 외형을 제공합니다. 이러한 프록시는 정교하게 렌더링된 최종 장면이라기보다는 중간 표현 역할을 합니다. 생성된 비디오와 시뮬레이터 라벨은 참조 에피소드를 검색하고 시각적 예측과 메모리 기반 예측을 조화시키며 정형화된 산불 보고서를 생성하는 학습(training) 불필요 다중 에이전트(multi-agent) VLM 시스템을 위한 재사용 가능한 멀티모달 메모리를 구성합니다. 홀드아웃(held-out)된 생성 에피소드에서 비디오 메모리는 직접적인 VLM 질의의 22.6%, 텍스트 전용 메모리의 16~17%에 비해 51.5%의 정확한 4개 태그 정확도를 달성했습니다. 전체 시스템은 시뮬레이터에서 파생된 6개 보고서 필드에서 77.3%의 정확도를 달성합니다. 구성 요소 제거 실험(ablation), 교차 생성기 테스트, 세 가지 실제 무인 항공기(UAV) 평가를 통해 검색, 보고, 생성기 변경 및 관찰 가능한 모니터링 작업을 평가합니다. 본 프레임워크는 실제 환경의 물리적 주석이 부족한 상황에서 자동 시뮬레이션-프록시 변환과 메모리 기반 VLM 추론을 연결합니다.
공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화
Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
월드 임베딩 벤치마크
World Embedding Benchmark
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
Memorizon: 컨텍스트 윈도우를 넘어서는 월드 모델 학습
Memorizon: Training World Models Beyond Their Context Window
스트리밍 월드 모델(world model)은 반복적인 방문 전반에 걸쳐 한 장소를 일관되게 렌더링해야 합니다. 이러한 재방문을 직접 지도학습(supervision)하려면 두 방문을 모두 포착하는 학습(training) 샘플이 필요한데, 이는 종종 수 분에 걸쳐 발생합니다. 그러나 전체 구간에 대한 밀집 어텐션(dense attention)은 2차 비용(quadratic costs)을 초래하여 긴 구간의 지도학습을 비싸게 만듭니다. Memorizon은 이러한 결합을 끊어냅니다. 즉, 지도학습에는 긴 구간이 필요하지만 어텐션에는 필요하지 않은데, 두 방문이 중간에 위치한 모든 프레임을 포함하지 않고도 단일 순전파(forward pass)를 공유할 수 있기 때문입니다. 학습 샘플은 어떤 길이의 구간도 포괄하지만, 마지막 $k$개 청크에 대해서만 점수가 매겨집니다. 그 이전의 히스토리를 토큰화하는 대신, 점수가 매겨지는 각 청크는 카메라 공동 가시성(co-visibility)을 통해 자체 상위 $K$개의 잠재 변수(latent)를 검색하며, 이러한 요청들의 합집합이 공유 뱅크(bank)를 형성합니다. 이 뱅크는 $kK$로 제한되므로 구간이 아무리 길어도 시퀀스는 제한된 상태를 유지합니다. 가장 짧은 구간에서 이 방식은 정확히 기존 학습과 동일합니다. 뱅크를 추가하면 스텝당 비용이 한 번 증가하지만, 그 이상에서는 구간이 길어져도 비용이 거의 들지 않으며 100초에서 400초로 늘려도 스텝 시간은 12%만 증가합니다. 슬라이딩 윈도우 기준선(baseline)과 비교할 때, 검색을 통해 모든 분할에서 재방문 일관성이 향상되며, 각 회귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%를 추가로 향상시킵니다. 해당 구간을 넘어서면 길이가 더 길어져도 더 이상 도움이 되지 않습니다. 다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하므로, 모델이 검색된 정보를 실제로 활용함을 보여줍니다. 프로젝트 페이지: https://tingtingliao.github.io/memorizon
MosaiChunk: 자기회귀 비디오 생성을 위한 시공간 메모리 합성
MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation
장기(long-horizon) 자기회귀 비디오 생성은 유한한 컨텍스트 윈도우(context window)로 인해 제약을 받습니다. 물체나 장면이 컨텍스트를 벗어나면 세밀한 시각적 디테일이 손실되어 다시 나타날 때 복구하기 어려울 수 있습니다. 이러한 시각적 디테일에 지속적으로 접근할 수 있도록, 공간과 시간에 걸쳐 선별된 과거 키-값(KV) 항목들의 모자이크를 합성하는 시공간 메모리 메커니즘인 MosaiChunk를 제안합니다. 본 연구는 동결된(frozen) 비디오 생성기가 이처럼 비연속적인 과거 KV를 직접 활용하여 해당하는 시각적 콘텐츠를 복구할 수 있다는 관찰에서 출발합니다. 따라서 생성기는 고정한 채, 고정된 활성 메모리 예산 내에서 모자이크에 포함할 과거 구간을 결정하는 경량 라우터만을 학습합니다. 나아가 프롬프트(prompt) 기반 텍스트-비디오(T2V) 및 카메라 제어 기반 이미지-비디오(I2V) 분할로 구성된 장기 재방문 벤치마크인 RememBench를 소개합니다. 실험 결과에 따르면, MosaiChunk는 동일한 메모리 예산 조건에서 슬라이딩 윈도우 추론(inference) 및 전체 청크 검색 방식 모두와 비교해 T2V와 I2V 설정 전반에서 재방문 일관성을 일관되게 향상시키는 것으로 나타났습니다.
ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅
ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models
자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page at https://cusuh.github.io/MemComposer