arXiv:2610.12104v1 cs.CV

VINCIE-NExT: 문맥 내 모델링을 통해 이미지로부터 비디오 편집 기능 열기

VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling

Leigang Qu, Feng Cheng, Ziyan Yang, Bangbang Yang, Zhaoyang Huang, Wei Chow, Yicong Li, Wenjie Wang, Tat-Seng Chua, Yan Zeng

제출 2026-10-08

저자 비고

arXiv Comments

Accepted to NeurIPS'26. Project page: https://vincie-next.github.io/

한국어 초록

유능한 비디오 편집기(video editor)를 구축하는 것은 비디오 생성기보다 여전히 훨씬 더 어렵습니다. 편집에는 주석 작업 비용이 지나치게 높고 대규모 합성이 어려운 (원본, 지시문, 편집본) 트리플렛(triplet)이 필요한 반면, 이미지 편집은 이미 수백만 개의 관련 쌍을 쉽게 활용할 수 있을 정도로 성숙 단계에 도달했습니다. 본 연구에서는 대규모 쌍을 이루는(paired) 비디오 편집 데이터의 필요성을 완화하면서, 문맥 내 시각적 시연(in-context visual demonstration)을 통해 이미지의 편집 능력을 비디오로 전이하는 통합 프레임워크인 VINCIE-NExT를 소개합니다. VINCIE-NExT는 비디오 편집을 구조화된 조합 가능한 하위 작업 체인(Video -> Image -> Image -> Video)으로 분해하여 편집 의도를 이미지 도메인으로 라우팅하며, 통합된 확산(diffusion) 목적식 하에서 이종 이미지 및 비디오 코퍼스로부터 확장 가능한 공동 학습(joint training)을 가능하게 합니다. 모델이 합성하거나 사용자가 제공한 이미지 편집 쌍은 모든 출력 프레임에 대한 공간적 외형 청사진 역할을 하는 문맥 내 시각적 시연으로 앞에 추가됩니다. 인터리브된(interleaved) 컨텍스트 전반에서 외형 편집을 그라운딩(grounding)하기 위해, 이미지 시연과 비디오 프레임을 공유된 공간 좌표계에서 연결하는 새로운 위치 인코딩(position encoding)을 도입하여 모든 출력 프레임으로 외형 변화가 픽셀 수준에서 충실하게 전파되도록 합니다. 또한 편집의 연쇄(Chain-of-Editing)는 원칙적인 테스트 시간 스케일링(test-time scaling)을 제공하여, 하위 작업 체인을 점진적인 확산 단계로 실행함으로써 재학습 없이도 추가 연산을 투입하여 편집 품질을 향상시킬 수 있습니다. OpenVE-Bench에서의 포괄적인 실험은 다양한 편집 범주 전반에서 최고 성능(SOTA)을 입증하며, 어블레이션 연구(ablation study)를 통해 각 구성 요소의 효과성을 확인합니다.

원문 초록

Building a capable video editor remains significantly harder than a video generator: editing requires (source, instruction, edited) triplets that are prohibitively expensive to annotate and difficult to synthesize at scale, whereas image editing has already reached maturity with millions of such pairs readily available. In this work, we introduce VINCIE-NExT, a unified framework that transfers editing capability from images to videos through in-context visual demonstrations, alleviating the need for large-scale paired video editing data. VINCIE-NExT decomposes video editing into a structured chain of composable sub-tasks (Video -> Image -> Image -> Video), routing editing intent through the image domain and enabling scalable joint training from heterogeneous image and video corpora under a unified diffusion objective. An image editing pair, synthesized by the model or supplied by the user, is prepended as an in-context visual demonstration that serves as a spatial appearance blueprint for every output frame. To ground appearance edits across the interleaved context, we introduce a novel position encoding that links image demonstrations and video frames in a shared spatial coordinate system, enabling pixel-faithful propagation of appearance changes to every output frame. Chain-of-Editing further provides principled test-time scaling: by executing the sub-task chain as progressive diffusion stages, editing quality can be improved by investing additional compute without retraining. Comprehensive experiments on OpenVE-Bench demonstrate the state-of-the-art performance across diverse editing categories, with ablations confirming the effectiveness of each component.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.12104v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.