PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01884v1cs.CV

사용자 비디오 컬렉션 기반의 메모리 유도 B-roll 생성

Memory-Guided B-Roll Generation from User Video Collections

본 논문에서는 컬렉션에 그라운딩(grounding)된 B-roll 시퀀스 생성 접근법을 소개합니다. 사용자의 비디오 컬렉션, 자연어로 제공된 지시사항, 목표 재생 시간이 주어지면, 컬렉션의 인물, 배경, 객체 및 스타일을 보존하면서 사용자의 주요 영상(A-roll)을 보완하는 멀티샷 시퀀스를 생성하는 것이 목표입니다. 이 과제는 시퀀스의 각 샷 생성을 유도할 시각적 증거를 수 시간 분량의 촬영 영상에서 선별해야 하므로 매우 까다롭습니다. 저자들은 원본 영상 자료를 시각적 참조(인물, 배경, 객체 및 스타일)를 갖춘 구조화된 메모리로 변환하고, 이를 활용해 그라운딩된 B-roll 시퀀스를 계획, 검색 및 생성하는 3단계 시스템인 MemComposer를 통해 이 문제를 해결합니다. 첫째, 1회성 오프라인 단계에서 MemComposer는 원본 비디오로부터 엔티티 중심 메모리를 구축합니다. 둘째, 메모리와 사용자 지시사항을 활용하여 그라운딩된 시퀀스를 계획하고 각 샷에 대한 조건화 프레임을 검색합니다. 셋째, 정체성, 배경 및 시퀀스 수준의 일관성을 확보하기 위해 시퀀스를 반복적으로 생성하고 평가(critique)합니다. 저자들은 프롬프트(prompt) 준수도와 사용자 컬렉션에 대한 시각적 일치도라는 두 가지 차원에서 사용자 선호도 조사를 통해 MemComposer를 평가합니다. 그라운딩되지 않은 텍스트-비디오 플래너와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 60.0\%, 시각적 일치도 비교에서 92.8\% 승리하여 컬렉션 메모리 및 참조 검색의 그라운딩 효과를 입증했습니다. 촬영 영상에서 편집된 검색 전용 시퀀스와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 94.5\% 승리하여 누락된 샷 생성의 가치를 보여주었으며, 시각적 일치도에서는 검색 전용 시퀀스가 58.2\%의 비교에서 선호되었습니다.