한국어 초록
최근 이미지 편집 시스템은 뛰어난 의미론적 이해도, 시각적 충실도, 지시어 추종(instruction-following) 능력을 달성했으나, 비디오 편집은 여전히 훨씬 더 어렵고 비용이 많이 듭니다. 본 논문에서는 엔드투엔드(end-to-end) 비디오 편집에 대한 간단한 대안을 제시합니다. 즉, 단일 비디오 편집기를 학습(training)시키는 대신 강력한 이미지 편집기를 앵커 기반 생성을 통해 비디오 편집기로 변환합니다. 우리의 핵심 통찰은 비디오 편집이 희소한 키프레임 세트를 편집하는 것과 이러한 편집 내용을 시간에 걸쳐 전파하는 두 가지 하위 문제로 분해될 수 있다는 점입니다. 이러한 관찰을 바탕으로, 우리는 2단계 프레임워크인 앵커 기반 비디오 편집(Anchor-based Video Editing, AVE)을 제안합니다. 이 프레임워크에서는 먼저 강력한 이미지 편집기가 선택된 키프레임에 대해 합성 편집을 수행하고, 모션 유도 이미지-투-비디오 확산 모델(diffusion model)이 편집된 키프레임을 고정 앵커로 처리하여 최종 비디오를 생성합니다. 이러한 설계는 최신 이미지 편집기의 장점을 직접 계승하는 동시에 비용이 많이 드는 엔드투엔드 비디오 편집 학습을 방지합니다. IVEBench 및 VIE-Bench에 대한 실험 결과는 AVE가 지시어 추종, 시간적 일관성, 콘텐츠 충실도 면에서 우수한 성능을 달성함을 보여줍니다. 추가적인 절제 연구(ablation study)에 따르면 최종 비디오 편집 품질은 이미지 편집기의 품질과 강한 상관관계가 있음이 밝혀졌으며, 이는 향후 비디오 편집의 발전이 더 강력한 이미지 편집 기반과 비디오로의 경량 전이에서 비롯될 수 있음을 시사합니다. 코드는 https://github.com/wangf3014/AVE 에서 이용 가능합니다.
원문 초록
Recent image editing systems have achieved impressive semantic understanding, visual fidelity, and instruction-following ability, while video editing remains substantially more difficult and costly. In this paper, we present a simple alternative to end-to-end video editing: instead of training a monolithic video editor, we transform a strong image editor into a video editor through anchor-based generation. Our key insight is that video editing can be decomposed into two subproblems: editing a sparse set of keyframes and propagating those edits across time. Based on this observation, we propose Anchor-based Video Editing (AVE), a two-stage framework in which a powerful image editor first performs composed editing on selected keyframes, and a motion-guided image-to-video diffusion model then generates the final video by treating the edited keyframes as fixed anchors. This design directly inherits the strengths of modern image editors while avoiding expensive end-to-end video editing training. Experiments on IVEBench and VIE-Bench show that AVE achieves strong performance in instruction following, temporal consistency, and content fidelity. Further ablations reveal that final video editing quality is strongly correlated with the quality of the image editor, suggesting that future progress in video editing may come from stronger image editing foundations and lightweight transfer to video. Code is available at https://github.com/wangf3014/AVE.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
쉬운 적응을 통한 스트리밍 비디오 편집
Streaming Video Editing with Easy Adaptation
본 논문에서는 사전학습된 양방향 비디오 확산 모델(bidirectional video diffusion model)에 대한 학습만으로 자기회귀(auto-regressive) 방식의 고품질 스트리밍 비디오 편집을 지원하는 프레임워크인 SVEET를 제안한다. 이 문제를 해결하기 위해, 먼저 기존의 비디오-투-비디오 확산 접근법들을 체계적으로 재검토하고, 이러한 스트리밍 적응을 위한 두 가지 핵심 원칙, 즉 백본 특징 분리(backbone feature disentanglement)와 조건부 프레임 독립성(conditional frame independence)을 규명한다. 이러한 통찰을 바탕으로, 제어 가능한 비디오 생성을 위한 새로운 패러다임을 개발한다. 그 핵심에는 시간적으로 독립적인 셀프 어텐션으로 소스 비디오 입력을 인코딩하는 보조 모델 분기(auxiliary model branch)가 있으며, 중간 특징들은 스트리밍 호환 제어를 위해 해당 백본 블록에 주입된다. 또한, 양방향 모델과 스트리밍 모델의 특징 공간 간 불일치를 해소하기 위해, 비디오 제어 가능성과 모델 인과성(causality)의 최적화 방향 간 직교성을 명시적으로 강제하는 분리 학습(decoupled training) 기법을 제안한다. 이러한 분리는 추론 시 두 목표 간의 호환성을 보장하고, 이질적인 백본 아키텍처 간의 원활한 제로샷 지식 전이를 촉진한다. 광범위한 실험을 통해 SVEET가 실시간 성능을 유지하면서도 우수한 편집 품질을 달성함을 입증하였으며, 어떠한 보조 가속 기법 없이도 단일 H100 GPU 17에서 15 FPS를 달성하였다. 코드는 https://github.com/YujiaHu1109/SVEET 에서 확인할 수 있다.
ElasticTTT: 사전 보존 테스트 시간 튜닝을 위한 비디오 편집
ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing
사전학습된 diffusion 모델에 대한 테스트 시간 튜닝(TTT)은 비디오 편집을 위한 강력한 패러다임으로 부상했다. 그러나 생성 모델의 분포 매핑 특성과 표준 TTT의 단일 점 최적화 사이에는 근본적인 불일치가 존재한다. 본 논문에서는 이러한 불일치가 Prior Collapse(사전 붕괴)를 유발함을 보인다. 이는 모델이 텍스트 조건과 공간 잠재 변수를 버리고, 생성 결과를 소스 비디오로 붕괴시키거나 서로 다른 영역의 특징을 얽어버리는 퇴화 상태이다. 이를 해결하기 위해, 사전 생성 분포를 보존하고 생성 탄성(generative elasticity)을 회복하는 새로운 프레임워크인 ElasticTTT를 제안한다. 구체적으로, 급격한 암기 최소점을 방지하기 위한 Target Distribution Regularization(목표 분포 정규화), 소스 편향에서 추론을 유도하기 위한 Contrastive CFG, 그리고 편집되지 않은 영역을 보존하기 위한 Asynchronous Noise Schedule(비동기 노이즈 스케줄)을 제안한다. 이론적 분석이 뒷받침하는 광범위한 평가를 통해, ElasticTTT가 베이스 모델의 생성 사전을 성공적으로 보존하며 원샷(one-shot) 비디오 편집에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.
EgoPlay: 이벤트 트리거 기반 자기중심 스트림 비디오 편집
EgoPlay: Event-Triggered Video Editing for Egocentric Streams
본 논문은 자기중심 스트림을 위한 이벤트 트리거 비디오-투-비디오 편집기 EgoPlay를 제안한다. EgoPlay는 주로 Ego4D로 구축한 이벤트 조건 데이터에 사전학습된 V2V 확산 트랜스포머를 미세조정하여 얻었다. 단안 비디오와 "X가 발생하면 Y를 수행한다" 형식의 이벤트 트리거 프롬프트가 주어지면, EgoPlay는 이벤트 X의 발생 여부와 시점을 추론하고, 이벤트 이전 프레임은 보존하며, 편집 Y는 이벤트 이후 연속 구간에만 적용한다. 별도의 이벤트 검출기와 편집기를 연쇄적으로 결합하는 대신, EgoPlay는 단일 end-to-end 모델에서 이벤트 인식, 시간적 제약, 픽셀 수준 편집을 공동으로 학습하며, 부정 및 다중 이벤트 프롬프트도 처리한다. 이를 위해 긍정 트리거, 허위 트리거 부정, 다중 이벤트 프롬프트를 포함하는 10.6만 개의 이벤트 트리거 클립-프롬프트 쌍으로 구성된 대규모 데이터셋을 구축한다. 이후 이벤트 트리거 감독으로 양방향 비디오 확산 편집기를 학습하고, 청크 단위 스트리밍 추론을 위해 인과적 변형을 도출한다. 또한 트리거 이후 편집 품질, 트리거 이전 보존, 거짓 트리거 강건성을 각각 측정하는 이벤트 인식 평가 프로토콜을 도입한다. Ego4D 벤치마크에서 EgoPlay는 최신 instruction 기반 자기중심 비디오 편집 기준선인 EgoEdit을 편집 품질, 시각적 품질, 배경 일관성에서 각각 17.7%, 16.9%, 16.4%의 상대적 향상으로 크게 능가한다. 동일 지표에서 VLM 가이드 검출기-편집기 기준선보다 15.7%, 14.5%, 13.5% 높은 성능을 보이면서 GPU 메모리는 절반 미만만 사용한다.
국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델
Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing
흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.
ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델
ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
정제는 본질적으로 편집 가능하다: 생성적 정제 네트워크를 이용한 학습이 필요 없는 프롬프트-투-프롬프트 이미지 편집
Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network
텍스트 기반 이미지 편집은 무관한 원본 콘텐츠를 보존하면서 요청된 변경 사항을 도입해야 한다. 학습이 필요 없는 편집(training-free editing)에서, 확산 모델 기반(diffusion-based) 편집기는 흔히 공간적 제어(spatial control)를 사용하는데, 이러한 제어의 부정확성으로 인해 편집이 불완전하게 남거나 무관한 영역이 변경될 수 있다. 자기회귀 기반(autoregressive-based) 편집기는 추가적인 제약에 직면하는데, 고정된 디코딩 순서로 인해 이전 결정을 수정하는 데 한계가 있다. 생성적 정제 네트워크(Generative Refinement Network, GRN)를 이용한 학습이 필요 없는 이미지 편집을 최초로 탐구한 본 연구에서, 우리는 GRN의 정제(refinement) 과정이 본질적으로 편집에 적합하며 이러한 한계를 해결할 수 있는 유망한 방법을 제공한다는 것을 관찰하였다. 이러한 관찰에 착안하여, 우리는 GRN을 기반으로 구축된 학습이 필요 없는 프롬프트-투-프롬프트(prompt-to-prompt) 이미지 편집 프레임워크인 RefineEdit을 제안한다. 핵심 아이디어는 이진 이미지 코드(binary image code)의 전역적 정제를 통해 편집 위치 지정(edit localization)과 콘텐츠 생성을 결합함으로써, 이미지가 진화함에 따라 편집 근거(editing evidence)를 수정할 수 있도록 하는 것이다. 보다 구체적으로, RefineEdit은 비트 라우팅(bit routing)을 두 가지 안정화 메커니즘, 즉 적응적 공간 동결(adaptive spatial freezing)과 유한 비트 잠금(finite bit locking)과 결합한다. 비트 라우팅은 중간 원본 상태에서 시작하여 두 분기(branch) 간의 부호 있는 확률 차이를 이용해 편집 가능한 위치와 비트를 식별한다. 이는 선택된 비트를 편집 정제 방향으로 유도하는 동시에, 나머지 비트는 진화하는 원본 궤적(source trajectory)에 고정시킨다. 적응적 공간 동결은 편집 영역의 불필요한 확장을 제한하며, 유한 비트 잠금은 지속적인 편집을 지원하기 위해 최근의 비트 활성화를 유지한다. 전체 프레임워크는 추가적인 학습, 외부 마스크, 또는 어텐션 제어를 필요로 하지 않는다. PIE-Bench의 아홉 가지 편집 범주 전반에서, RefineEdit은 PSNR, LPIPS, MSE, SSIM에서 최고의 배경 보존 점수를 달성했으며, 평가된 방법들 중 전체 이미지 및 편집 영역에 대해 가장 높은 CLIP 점수를 기록했다. 코드는 https://github.com/mura1n/RefineEdit 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
In NeurIPS 2026