arXiv:2611.22464v2 cs.CV

MAVE: 영화 샷에서 편집 가능한 3D 블록아웃 재구성

MAVE: Reconstructing Editable 3D Blockouts from Film Shots

Yifan Chang, Jian Yang, Jiangnan Shao, Xiaofeng Wang, Zhaoxin Fan, Renjing Xu, Ming Lu, Xingang Wang, Zheng Zhu

제출 2026-11-18

한국어 초록

애니메이션 3D 블록아웃은 사전 시각화에 쓰이며 비디오 생성에 구조 조건을 제공한다. 그러나 참조 영상에서 수작업으로 재구성하는 데 비용이 많이 들어 창작자가 활용하기 어렵고, 영상과 블록아웃을 짝지은 학습 데이터도 만들기 어렵다. 카메라 움직임, 공간 배치, 캐릭터의 위치와 동선을 평가할 수 있도록 영화 샷 50개와 키프레임 416개로 이루어진 MAVEBench를 소개한다. 실제 단위의 관측, 에이전트형 모델링, 근거 기반 검증을 결합해 비디오를 블록아웃으로 바꾸는 MAVE를 제안한다. 먼저 카메라, 사람의 움직임, 기하학적 근거를 실제 단위의 공통 좌표계에서 복원한다. 에이전트는 관측에서 얻은 제약에 따라 편집 가능한 환경을 만들고, 프로그램으로 불일치를 검사해 수정할 부분을 알려 준다. 결과물은 편집 가능한 Blender 장면과 원본 영상의 프레임에 정렬된 블록아웃 비디오다. MAVEBench에서 세 에이전트에 MAVE를 적용했을 때, 각 기본 기준선보다 종합 점수가 27.5~41.1점 높았다. DeepSeek-1017을 사용하면 샷당 평균 API 비용 0.054달러로 73.2점을 얻었다. 가장 우수한 기본 기준선보다 점수가 높았고 총 재구성 시간은 53% 줄었다. 모델 학습을 위한 블록아웃–비디오 쌍 3,000개로 구성된 MAVEData-3K도 만들었으며 공개할 예정이다. 창작자는 시점과 캐릭터 동선을 바꾼 뒤 편집한 장면을 렌더링해 비디오 생성의 조건으로 사용할 수 있다. 코드는 https://github.com/yfChang-cv/MAVE 에 공개되어 있다.

원문 초록

Animated 3D blockouts support previsualization and provide structural conditions for video generation, but manually reconstructing them from reference videos is costly. This limits both their use by creators and the production of paired training data. We introduce MAVEBench, a benchmark of 50 film shots and 416 keyframes for evaluating camera motion, spatial layout, and character blocking. We propose MAVE, a video-to-blockout framework combining Metric observation, Agentic modeling, and evidence-based VErification. It first recovers cameras, human motion, and geometric evidence in a shared metric coordinate system. An agent then constructs an editable environment under constraints from these observations, while programmatic checks report inconsistencies to guide refinement. The outputs are editable Blender scenes and frame-aligned blockout videos. On MAVEBench, MAVE improves overall scores by 27.5-41.1 points across three agents over their corresponding vanilla baselines. With DeepSeek-1017, it achieves a score of 73.2 at an average API cost of only USD 0.054 per shot, outperforming the strongest vanilla baseline while reducing total reconstruction time by 53%. We also construct MAVEData-3K, a dataset of 3,000 blockout-video pairs for model training, and will release it publicly. Creators can change viewpoints and character paths, then render the edited scenes to condition video generation. Code is available at https://github.com/yfChang-cv/MAVE.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22464v2제출 시각 미확인
  2. arXiv:2611.22464v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.