arXiv:2605.23891v2 cs.CV

Smart-Insertion-V: 폐루프 피드백 이중 스트림 프레임워크를 통한 사실적 비디오 삽입

Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

Xiao Cao, Yansong Qu, Xiangzhen Chang, Wen Xiao, Jiakui Hu, Heyuan Li, Jialun Liu, Zhiyong Huang, Xuelong Li

제출 2026-05-22

한국어 초록

마스크 없는(Mask-free) 비디오 객체 삽입은 참조 객체를 원본 비디오에 조화롭게 통합해야 하는 까다로운 과제로 부상했습니다. 그러나 기존 방법들은 참조 객체와 원본 장면 사이에 심각한 스타일 도메인 격차가 존재할 때 어려움을 겪습니다. 이를 극복하기 위해, 본 논문에서는 비디오 삽입과 이미지 스타일 전이를 동시에 수행하는 엔드투엔드 이중 스트림(Dual-Stream) 프레임워크인 Smart-Insertion-V를 제안합니다. 이 프레임워크 내에서 이미지 스트림은 비디오 생성 과정을 동기적으로 유도하며, 강건한 삽입을 보장하기 위해 폐루프 피드백(Closed-loop Feedback) 메커니즘이 추가로 결합됩니다. 이러한 다양한 조건화 신호를 통합하는 과정에서 필연적으로 특징(feature) 얽힘과 스타일 누출 문제가 발생합니다. 이 문제를 해결하기 위해, 큰 학습(training) 오버헤드를 발생시키지 않으면서 시공간 오프셋을 통해 서로 다른 신호를 구별하는 Dual-World-View RoPE를 설계했습니다. 나아가 공간적 그라운딩(grounding)과 스타일 적응을 촉진하기 위해, 네이티브 텍스트 인코더로 기존 시간적 가이던스를 보존하면서 시각-언어 모델(VLM)을 활용하여 의미론적 추론을 수행하는 분리형 가이던스 모듈(Decoupled Guidance Module)을 도입합니다. 조화로운 참조 객체 삽입 태스크의 데이터 격차를 해소하기 위해 데이터 큐레이션 파이프라인을 제안하며 오픈소스 데이터셋(dataset)을 공개할 예정입니다. 실험을 통해 본 제안 방법이 객체를 타당한 위치에 삽입하면서도 가장 조화로운 결과를 달성함을 입증합니다.

원문 초록

Mask-free video object insertion has emerged as a challenging task, requiring harmonious integration of reference objects into source videos. However, existing methods struggle when references exhibit severe stylistic domain gaps with the source scene. To overcome this, we propose \textit{\textbf{Smart-Insertion-V}}, an end-to-end \textbf{Dual-Stream} framework that concurrently conducts video insertion and image style transfer. Within this framework, the image stream synchronously guides the video generation process, while a \textbf{Closed-loop Feedback} mechanism is further incorporated to ensure robust insertion. Inevitably, integrating these diverse conditioning signals results in feature entanglement and style leakage. To tackle this issue, we design \textbf{Dual-World-View RoPE} to distinguish different signals via spatial-temporal offsets without incurring heavy training overhead. Furthermore, to facilitate spatial grounding and stylistic adaptation, we introduce a \textbf{Decoupled Guidance Module} that leverages a Vision-Language Model for semantic reasoning while preserving original temporal guidance with native text encoder. To bridge data gap for harmonious reference insertion task, we propose a data curation pipeline and will release an \textbf{open-source dataset}. Experiments demonstrate that our method can insert objects into plausible positions while achieving the most harmonious results.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.23891v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23817v1cs.CV공통 태그 Style Transfer, Video Generation

VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성

VISTA: Video-Injected Stylized Text-to-Animation

본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.

arXiv:2607.22830v1cs.CV공통 태그 Style Transfer, Video Generation

ID-V2V: 정체성 보존 비디오 재스타일화

ID-V2V: Identity-Preserving Video Restylization

시각적 스토리텔링에서 인간의 퍼포먼스는 창의적 의도와 서사적 의미의 핵심이다. 그러나 생성형 비디오 모델은 유연한 시각적 편집을 가능하게 하면서도 인간의 정체성과 퍼포먼스를 보존하는 것이 여전히 어렵다. 우리는 이 과제를 정체성 보존 비디오 재스타일화로 공식화한다. 이는 편집된 키프레임으로 지정된 장면, 조명, 스타일 변화를 소스 비디오 전체에 전파하면서, 표정, 시선, 입술 동기화를 포함한 얼굴 유사성과 퍼포먼스를 보존하는 작업이다. 핵심 장애물은 paired 학습 데이터의 부재인데, 실제 환경에서는 정체성을 보존한 재스타일화 비디오 쌍이 드물기 때문이다. 이를 해결하기 위해 우리는 소스 기반 정체성 보존과 편집 주도 비디오 합성의 분리를 제안한다. 핵심 통찰은 얼굴 외형과 표정은 불변으로 유지되어야 하며, 조명이 주요하게 허용되는 변화라는 점이다. 따라서 정체성 보존을 비디오 재조명 문제로, 시각적 편집 전파는 편집된 키프레임이 안내하는 제어된 비디오 합성으로 모델링한다. 이 공식화를 바탕으로 우리는 ID-V2V를 제안한다. 이는 상호 보완적인 제어 신호를 통합한 비디오-투-비디오 생성 프레임워크로, 재조명된 얼굴 영역과 얼굴 노멀 맵이 얼굴 유사성과 퍼포먼스를 엄격히 제약하고, 편집된 키프레임과 깊이 시퀀스가 유연하고 시간적으로 일관된 생성을 가능하게 한다. 이 설계는 단일 비디오로부터 학습 쌍을 구성할 수 있어 희소한 paired 데이터가 필요 없게 한다. 광범위한 실험 결과 ID-V2V는 얼굴 유사성과 세밀한 얼굴 퍼포먼스 보존에서 기존 방법을 크게 능가하며, 단일 및 다중 피사체 시나리오를 모두 지원하고 높은 시각적 품질을 제공하여, 실제 콘텐츠 제작을 위한 인간 중심 도구로서의 잠재력을 보여준다. 코드는 https://github.com/Eyeline-Labs/ID-V2V 에서 제공된다.

arXiv:2607.11081v1cs.CV공통 태그 Style Transfer, Video Generation

어텐션 헤드를 통한 디퓨전 트랜스포머의 모션 전이 제어

Controlling Motion Transfer in Diffusion Transformers via Attention Heads

디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 고품질의 시간적으로 일관된 결과로 비디오 생성을 발전시켰다. 그러나 목표 프롬프트에 맞추면서 참조 모션을 따르는 모션 전이(motion transfer)로 이를 확장하는 것은 DiTs 내 모션 및 구조 표현에 대한 이해가 부족하여 여전히 어려운 과제이다. 우리는 비디오 DiTs를 어텐션 헤드 수준에서 분석하고, 모션과 공간 구조에 각각 특화된 별개의 헤드를 식별한다. 이러한 통찰을 바탕으로, 매개변수 업데이트가 필요 없는 헤드 인식 제어 가능 모션 전이 프레임워크를 제안한다. 제안하는 방법은 의미론적 대응 안내를 통해 모션 특화 헤드에서 모션 단서를 정제하고, 선택적 특징 주입을 통해 구조를 보존한다. 이 헤드 수준 제어는 정확한 모션 전이를 가능하게 할 뿐만 아니라, DiTs를 활용한 제어 가능한 비디오 생성을 위한 해석 가능한 기반을 제공한다.

arXiv:2607.03732v1cs.CV공통 태그 Style Transfer, Video Generation

ProxyUp: 제어 가능한 다이내믹스를 위한 학습 불필요 프록시 조건부 비디오 생성

ProxyUp: Training-Free Proxy-Conditioned Video Generation for Controllable Dynamics

복잡한 다이내믹스에 대한 정밀한 제어는 현대 비디오 생성 모델에서 여전히 어려운 과제로, 텍스트 프롬프트만으로는 물리적으로 그럴듯하고 세밀한 동작 및 상호작용을 지정하기 어렵다. 우리는 물리 기반 시뮬레이션 또는 실세계 녹화에서 얻은 거친 프록시 비디오가 다이내믹스 캐리어로서 전경 객체의 동작을 제어하는 $\textit{프록시 조건부 비디오 생성}$을 제안한다. 프록시 비디오와 텍스트 프롬프트가 주어졌을 때, 목표는 프록시 다이내믹스를 보존하면서 프롬프트에 정렬된 새로운 콘텐츠와 그럴듯한 상호작용을 생성하는 새 비디오를 합성하는 것이다. 쌍을 이루는 프록시-타깃 비디오를 확보하기 어렵기 때문에, 우리는 사전학습된 비디오 생성 모델 위에 구축된 학습 불필요 프레임워크인 $\textbf{ProxyUp}$을 제안한다. ProxyUp은 먼저 프록시 비디오를 중간 잠재 표현으로 역변환하고 $\textbf{영역별 잠재 노이징(region-wise latent noising)}$을 적용하여, 동작에 핵심적인 프록시 잠재 표현을 보존하면서 텍스트 기반 재생성이 의도된 영역에 노이즈를 주입한다. 이러한 휴리스틱 잠재 합성으로 인해 발생하는 분포 불일치 및 약한 전경-배경 결합 문제를 완화하기 위해, ODE 샘플링 전에 합성된 잠재 표현을 모델의 학습된 분포 방향으로 점진적으로 완화하는 $\textbf{확률적 플로우 완화(Stochastic Flow Relaxation, SFR)}$를 추가로 제안한다. 시뮬레이션 및 실세계 프록시 모두에 대한 실험에서 ProxyUp은 동적 충실도와 텍스트 정렬 측면에서 강력한 비디오 편집 및 모션 전이 베이스라인을 능가함을 보인다.

arXiv:2607.04311v3cs.CV공통 태그 Video Generation

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.00047v3cs.MM공통 태그 Video Generation

Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.