PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.23891v2cs.CV

Smart-Insertion-V: 폐루프 피드백 이중 스트림 프레임워크를 통한 사실적 비디오 삽입

Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

마스크 없는(Mask-free) 비디오 객체 삽입은 참조 객체를 원본 비디오에 조화롭게 통합해야 하는 까다로운 과제로 부상했습니다. 그러나 기존 방법들은 참조 객체와 원본 장면 사이에 심각한 스타일 도메인 격차가 존재할 때 어려움을 겪습니다. 이를 극복하기 위해, 본 논문에서는 비디오 삽입과 이미지 스타일 전이를 동시에 수행하는 엔드투엔드 이중 스트림(Dual-Stream) 프레임워크인 Smart-Insertion-V를 제안합니다. 이 프레임워크 내에서 이미지 스트림은 비디오 생성 과정을 동기적으로 유도하며, 강건한 삽입을 보장하기 위해 폐루프 피드백(Closed-loop Feedback) 메커니즘이 추가로 결합됩니다. 이러한 다양한 조건화 신호를 통합하는 과정에서 필연적으로 특징(feature) 얽힘과 스타일 누출 문제가 발생합니다. 이 문제를 해결하기 위해, 큰 학습(training) 오버헤드를 발생시키지 않으면서 시공간 오프셋을 통해 서로 다른 신호를 구별하는 Dual-World-View RoPE를 설계했습니다. 나아가 공간적 그라운딩(grounding)과 스타일 적응을 촉진하기 위해, 네이티브 텍스트 인코더로 기존 시간적 가이던스를 보존하면서 시각-언어 모델(VLM)을 활용하여 의미론적 추론을 수행하는 분리형 가이던스 모듈(Decoupled Guidance Module)을 도입합니다. 조화로운 참조 객체 삽입 태스크의 데이터 격차를 해소하기 위해 데이터 큐레이션 파이프라인을 제안하며 오픈소스 데이터셋(dataset)을 공개할 예정입니다. 실험을 통해 본 제안 방법이 객체를 타당한 위치에 삽입하면서도 가장 조화로운 결과를 달성함을 입증합니다.