PyTorchKR Papers

최신 논문

총 21편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24997v4cs.CV

VideoGen-Agent: 비디오 생성 에이전트 강화

VideoGen-Agent: Reinforcing Video Generation Agents

최근 비디오 생성 모델의 발전으로 고충실도이며 시간적으로 일관된 비디오 생성이 가능해졌다. 그러나 이러한 모델은 전문 지식, 특정 정체성, 물리적 일관성 또는 순서가 있는 사건을 요구하는 프롬프트를 충족하는 데 자주 어려움을 겪는다. 본 논문에서는 다중 과제 에이전트 강화학습을 통해 비디오 생성을 위한 외부 도구를 사용하도록 학습된 멀티모달 에이전트 VideoGen-Agent를 제시한다. 이 에이전트는 프롬프트와 중간 관측을 활용해 의사 결정을 이끌며, 다중 턴 상호작용을 통해 증강, 생성, 검증 도구를 조율한다. 우리는 여섯 가지 과제에 걸친 범주 균형 데이터셋으로 공유 정책을 학습한다. 교사 모델이 생성한 궤적에 대한 지도 미세 조정으로 도구 사용 행동을 확립한 뒤, 강화학습으로 이를 정제한다. 범주 인식 하이브리드 보상은 도구 호출의 유효성, 과제에 적합한 도구 사용, 생성된 비디오의 품질을 평가한다. 또한 절차적 지식, 단일 및 다중 개체 정체성 보존, 물리적 일관성, 장면 구성, 다중 샷 시간 구조를 포괄하는 600개 프롬프트의 홀드아웃 벤치마크 VABench를 도입한다. VABench에서 VideoGen-Agent는 기반 텍스트-비디오 생성기보다 19.1점 향상된 75.6점(56.5점에서 상승)을 기록한다. 생성 도구를 업그레이드하면 추가적인 에이전트 학습 없이도 점수가 86.1까지 더 오른다. 인간 평가자들은 비교의 84.3%에서 업그레이드된 구성을 가장 강력한 단독 기준선보다 선호하였다. 이러한 결과는 비디오 생성 과제 전반에 걸친 도구 사용 학습을 뒷받침하며, 학습된 에이전트가 이후 생성 도구의 발전으로부터 이익을 얻을 수 있음을 보여준다. 프로젝트 페이지: https://andyca111.github.io/VideoGen_Agent/

arXiv:2609.23153v2cs.CV

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2610.03221v1cs.CV

VDOT++: 불균형 최적 수송 증류를 통한 통합 소수 단계 비디오 생성

VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation

비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.

arXiv:2609.24208v1cs.CV

CoaG: 그리드 위의 원기둥: 비디오 생성을 위한 대략적인 3D 레이아웃 제어

CoaG: Cylinders on a Grid: Coarse 3D Layout Control for Video Generation

우리는 생성된 비디오에서 사람이 서 있는 위치와 카메라가 움직이는 경로를 모두 제어하기 위해 사용자가 얼마나 적은 기하학적 요소(geometry)를 그려야 하는지 질문을 던집니다. 우리의 답은 지면(ground plane)과 사람당 하나의 원기둥(cylinder)입니다. 사용자가 지면에 그리드를 그리고, 각 사람이 서 있어야 할 위치에 원기둥을 하나씩 배치한 뒤, 81프레임에 걸쳐 원기둥과 카메라를 이동시키면, 모델은 사람들이 원기둥의 위치를 차지하고 원기둥이 움직이는 대로 이동하며 그려진 카메라 시점에서 바라본 사실적인 비디오를 렌더링합니다. 외형(appearance)은 텍스트 프롬프트와 배경 참조 이미지에서 비롯되며, 레이아웃과 움직임은 기하학적 형상에서 비롯됩니다. 이러한 신호와 비디오를 쌍으로 묶은 데이터셋이 없기 때문에, 우리는 이 쌍을 직접 구축합니다. 자동화 엔진이 조합형 시드(combinatorial seed)로부터 2,000개의 캡션을 작성하고, 텍스트-비디오(text-to-video) 모델로 각각에 대한 클립을 생성한 다음, 실제 영상이나 수작업 라벨 없이 사람 추적(tracking), 배경 인페인팅(inpainting), 에이전트 기반 지면 마스크 루프, 피드포워드 다중 시점 재구성(feed-forward multi-view reconstruction) 및 평면 피팅을 통해 모든 클립을 기하학적 형상으로 다시 복원(lift)합니다. 이러한 1,935개의 튜플로 학습된 Wan2.2-Fun-Control 기반의 LoRA는 홀드아웃 클립에서 그려진 레이아웃과 카메라 경로를 잘 따릅니다. 즉, 생성된 인물들은 원기둥의 개수, 순서, 위치 및 높이와 일치하며, 텍스트는 인물이 누구인지를 바꾸고, 참조 이미지는 그들이 어디에 있는지를 변경하며, 돌리-인(dolly-in), 오빗(orbit), 팬(pan), 크레인(crane) 경로는 따르지만 돌리-아웃(dolly-out)은 약하게만 따릅니다.

arXiv:2609.23658v1cs.CV

비디오 확산 모델은 왜 물리를 위반하는가? 어텐션 메커니즘의 결함 규명

Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms

뛰어난 시각적 품질에도 불구하고, 최신 비디오 확산 모델은 종종 실세계 물리 법칙을 위반하는 콘텐츠를 생성한다. 기존 해결책은 외부 사전(prior)이나 특화 데이터에 의존하는 반면, 우리는 이러한 모델의 내부 메커니즘을 탐구하여 근본 원인을 조사한다. 구체적으로, text-to-video 확산 모델의 ''motion planning'' 과정에 대한 최초의 해석 가능성(interpretability) 연구를 제시하며, 초기 디노이징(denoising) 단계에서 움직임 궤적(motion trajectory)이 어떻게 형성되는지 밝힌다. ''first shape, then details'' 발견을 바탕으로, cross-attention 궤적 패턴과 인과적 헤드(causal head) 기여를 결합하여 motion planning을 주도하는 어텐션 헤드의 특정 부분집합을 식별한다. 또한 self-attention 분석은 Rotary Position Embedding(RoPE)이 과도한 공간 어텐션 감쇠(attention decay)를 유발함을 보여준다. 이로 인해 초기 후보 영역이 물리적으로 불가능한 위치에 조기 고정되어, 인접 프레임의 합리적인 궤적을 억압하고 생성 실패 모드를 유발한다. 이 근본적 결함을 해결하기 위해, 서로 다른 디노이징 단계에서 RoPE의 주파수를 조절(scale)하는 경량 아키텍처 수정을 제안한다. 이 전략은 과도한 어텐션 감쇠를 줄여, 모델이 일관된 물리적 움직임을 확립하기 위해 더 나은 후보 영역을 탐색하도록 돕는다. 마지막으로, 학습 없는(training-free) 및 학습 기반(training-based) 실험이 생성된 비디오의 물리 상식(physical commonsense) 향상에서 우리 접근법의 효과를 확인한다.

arXiv:2601.01352v2cs.CV

Slot-ID: 슬롯 기반 시간적 정체성 인코딩을 통한 참조 비디오로부터의 정체성 보존 비디오 생성

Slot-ID: Identity-Preserving Video Generation from Reference Videos via Slot-Based Temporal Identity Encoding

인간의 정체성을 보존하는 텍스트-투-비디오(text-to-video) 생성은 시점, 표정, 조명, 움직임의 큰 변화 상황에서 여전히 어려운 과제로 남아 있다. 기존 방법들은 생성기를 단일 참조 인물 사진(portrait)에 조건화하지만, 정적 이미지는 시점과 표정 변화에 따라 정체성을 나타내는 단서(cue)가 어떻게 변화하는지 포착할 수 없어 얼굴 변형, 포즈 고정(pose locking), 정체성 드리프트(identity drift), 또는 과도하게 매끄러워진 얼굴로 이어진다. 우리는 짧은 참조 클립이 단일 이미지보다 더 풍부한 시간적·다중 시점 정체성 단서를 자연스럽게 제공한다는 점을 관찰하였으며, 이는 비디오 참조 기반 정식화(video-referential formulation)의 동기가 된다. 그러나 이러한 더 풍부한 신호는 새로운 과제를 야기한다: 정체성 증거가 여러 프레임에 걸쳐 분산되어 있으며, 제한된 토큰 예산 하에서 이를 압축되고 안정적인 표현으로 증류(distill)해야 한다는 것이다. 이를 위해 우리는 고정된(frozen) 텍스트-투-비디오 백본 위에 구축된 경량 정체성 조건화 프레임워크인 Slot-ID를 제안한다. Slot-ID는 싱크혼(Sinkhorn) 라우팅 기반의 반복적 읽기(iterative reading)를 사용하는 슬롯 기반 시간적 정체성 인코더를 통해 참조 클립으로부터 압축되고 안정적인 정체성 토큰(token) 집합을 증류하며, 이는 이중 소스 조건화를 위한 이미지 앵커 스트림(image-anchor stream)으로 보완된다. 광범위한 실험을 통해 Slot-ID가 정체성 보존과 시각적 자연스러움 측면에서 최신(state-of-the-art) 방법들을 능가하는 동시에 프롬프트(prompt) 추종 성능에서도 경쟁력을 유지하며, 특히 까다로운 포즈, 표정, 움직임 변화 상황에서 큰 성능 향상을 보인다는 것을 입증한다.

arXiv:2607.24241v2cs.CV

FilmBench: 영화급 시네마틱 비디오 생성 벤치마크

FilmBench: A Film-Grade Benchmark for Cinematic Video Generation

비디오 생성의 발전은 AI 생성 영상과 전문가 제작 영상 간의 시각적 격차를 계속 좁히고 있지만, 대부분의 벤치마크는 여전히 웹 소스나 LLM 템플릿에서 프롬프트를 뽑고, 학습되지 않은 범용 멀티모달 모델로 채점한다. 더 근본적으로, 이들의 평가 분류체계는 영화가 실제로 제작되고 평가되는 전문적인 시네마틱 언어(Cinematic Language) 기준보다는 전반적 시각 품질, 거친 텍스트 정렬, 시간적 매끄러움 등 기초적인 수준에 머물러 있어, 영화급 연출 기술이 아니라 기본적인 비디오 타당성만을 평가한다. 우리는 영화 아카데미 전통의 전문 시네마틱 언어에 기반하고, 베이징 영화학원과 후징 디지털 미디어 & 엔터테인먼트 그룹 영화 스튜디오의 감독 및 교수진과 공동 개발한 텍스트-투-비디오(T2V) 및 레퍼런스-투-비디오(R2V) 벤치마크인 FilmBench를 소개한다. 이는 세 가지 선택에 기반한다. 첫째, 프롬프트는 20개 영화 장르에 걸친 수상작 영화 클립에서 역공학(reverse-engineered)되며 전문 감독이 선정하여, 모든 프롬프트가 검증된 실사 레퍼런스에 고정된다. 프롬프트는 실제 샷 리스트를 따르며, 대부분 여러 샷을 구성한다(1,169개 프롬프트 중 1,056개가 멀티샷). 이는 이전의 단일 클립 벤치마크와 다르다. 둘째, 평가는 3개 축, 12개 구성요소, 35개(T2V) + 3개(R2V 전용) 하위 지표로 이루어진 3단계 시네마틱 분류체계를 따른다. 셋째, 우리는 사내 전문가급 자동 평가 에이전트를 개발하고, 시네마틱 언어 연산자(FilmOps) 핵심 스위트를 오픈소스로 공개한다. 선도적인 비디오 생성 모델(T2V 9개, R2V 7개)을 벤치마킹한 결과, 평가기는 모델 수준에서 인간 모델 순위를 Spearman ρ = 0.95(T2V) 및 0.96(R2V)로 재현한다. 점수는 기존 웹 스타일 벤치마크보다 훨씬 낮으며, 동적 미학에서 두 가지 일관된 격차와 단일샷에서 멀티샷으로의 현저한 성능 하락이 나타나는데, 이는 약한 모델일수록 더 커진다.

arXiv:2607.21027v1cs.CV

GroupVideo: 다중 정체성 맞춤형 텍스트-투-비디오 생성

GroupVideo: Multi-Identity Customized Text-to-Video Generation

현재 정체성 맞춤형 비디오 생성 방법론은 대부분 단일 정체성 시나리오에 한정되어 있으며, 명시적인 정체성 분리 메커니즘이 부족하면 다중 정체성 설정에서 정체성 혼동이 자주 발생한다. 기존 다중 정체성 접근법은 얼굴 이미지를 입력 조건으로 이어 붙여 단일 정체성 프레임워크를 직접 확장하는 방식인데, 이는 부자연스러운 표정과 동작을 초래하며 "copy-paste" 현상으로 나타난다. 이러한 한계를 극복하기 위해, 우리는 여러 개인 사진을 활용하여 정체성 맞춤형 비디오를 생성하는 새로운 프레임워크인 GroupVideo를 제안한다. Video Diffusion Transformers를 기반으로 한 GroupVideo는 다중 모달 정체성 정렬(alignment)을 통합한다. 시각적 정렬은 여러 얼굴 이미지를 공동 인코딩하여 견고한 정체성 참조를 제공하고, 의미적 정렬은 semantic perceiver를 도입하여 동작의 자연스러움을 향상시킨다. 정체성 혼합을 해결하고 정체성 충실도를 높이기 위해 공간적 가이던스를 갖춘 ID localization 모듈을 도입하며, 얼굴 영역에 집중하고 학습 효율을 개선하기 위해 경계 상자 제약과 마스크 정규화 손실을 함께 사용한다. 다중 ID 비디오 데이터셋 부족에 대응하여, 우리는 2만 개의 고품질 비디오로 구성된 포괄적인 데이터셋을 구축하였으며, 이를 통해 다중 ID 비디오 생성 분야의 향후 연구를 촉진하는 중요한 자원을 마련하였다. 광범위한 실험을 통해 GroupVideo가 일관된 정체성과 자연스러운 동작을 갖춘 다중 캐릭터 비디오 생성에서 기존 방법들을 능가함을 보여준다.

arXiv:2607.14194v1cs.CV

텍스트-투-비디오 모델을 위한 추론 시점 개념 억제 및 비디오 중심 평가

Inference-Time Concept Suppression and Video-Centric Evaluation for Text-to-Video Models

텍스트-투-비디오(T2V) 생성기는 사실적이고 시간적으로 일관된 비디오를 합성할 수 있지만, 생성기에서 대상 개념을 통제 가능하게 제거하는 것은 여전히 어렵다. 텍스트-투-이미지 개념 삭제(concept erasure)와 달리, T2V 언러닝(unlearning)은 프레임 전반에 걸쳐 지속될 수 있는 대상 개념을 억제하면서 비대상 피사체, 동작, 장면, 시간적 구조를 보존해야 한다. 우리는 개념 수준 T2V 언러닝을 위한 학습 없이(training-free) 추론 시점(inference-time) 프레임워크인 SIRUS를 제안한다. 대상 개념의 텍스트 별칭(textual aliases)이 주어지면, SIRUS는 대상 관련 프롬프트(prompt) 증거를 국소화하고 텍스트 인코더나 디노이징 네트워크를 갱신하지 않고 샘플링 중 대상 표현을 억제한다. 또한 T2V 언러닝을 위한 비디오 지향 평가 프레임워크를 도입하여, 비디오 수준 실패 기준, 프레임 수준 잔여(residue) 통계, 쌍(pair) 보존 분석, VBench 기반 품질 진단, 배포 오버헤드 측정을 통해 대상 망각(forgetting), 비대상 보존, 비디오 품질, jailbreak 견고성, 효율성을 각각 측정한다. CogVideoX에서 안전성, 객체, 스타일 개념 다섯 가지에 대해 SIRUS는 평균 망각 성공률 70.4%, 평균 프레임 적중률 25.7%를 달성하는 반면, VideoEraser는 44.4% / 47.2%이며, 평균 VBench 품질 하락을 -0.043에서 -0.016으로 줄여 완전히 평가된 베이스라인 중 가장 강한 망각-품질 트레이드오프를 제공한다. Wan2.2에 대한 전이(transfer) 실험은 SIRUS가 현대 T2V 백본(backbone) 전반에서 일반화됨을 추가로 시사한다.

arXiv:2607.14088v1cs.CV

VideoRAE: 표현 오토인코더를 통한 생성 모델링을 위한 비디오 파운데이션 모델 활용

VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders

비디오 생성 모델은 일반적으로 3D 변분 오토인코더(3D-VAE)가 학습한 잠재 공간에 의존한다. 그러나 기존 3D-VAE는 주로 픽셀 수준 재구성을 위해 최적화되므로, 잠재 표현이 포착하는 의미적·시공간적 구조가 제한될 수 있다. 한편 V-JEPA 2, VideoMAEv2와 같은 비디오 파운데이션 모델(VFM)은 강력한 비디오 이해 능력을 보이지만, 동결(frozen)된 표현을 압축적이면서 재구성 가능하고 생성에 유리한 비디오 잠재 표현으로 변환할 수 있는지는 대부분 탐구되지 않았다. 우리는 VideoRAE로 이 질문에 답한다. VideoRAE는 동결된 비디오 파운데이션 인코더의 다중 스케일 계층적 특징을 활용하고, 경량 1D 셀프 어텐션(self-attention) 프로젝터로 이를 압축하는 representation autoencoder이다. VideoRAE는 다중 코드북 고차원 양자화를 통해 Diffusion Transformer용 연속 잠재 표현과 자기회귀(autoregressive) 모델용 이산 토큰을 모두 지원한다. 디코딩 과정에서 동결된 VFM teacher와의 국소·전역 표현 정렬(alignment) 목표가 의미 보존을 개선하고 KL 정규화 없이 학습할 수 있게 한다. 실험 결과 VideoRAE는 연속·이산 양쪽 체계에서 강력한 재구성 성능을 달성한다. UCF-101에서 AR 및 DiT 생성기 각각으로 SOTA class-to-video gFVD 40과 93을 기록하며, 경쟁 오토인코더 baseline 대비 약 5배 빠르게 수렴한다. 통제된 20억(2B) 규모 text-to-video 연구에서 LTX-VAE를 VideoRAE로 교체하면 유사한 설정에서 더 빠른 수렴을 보인다. 이 결과는 동결 VFM 표현이 다재다능하고 생성에 유리한 비디오 잠재 표현임을 검증한다. 모델과 코드는 https://zhxie0117.github.io/VideoRAE 에 공개될 예정이다.

arXiv:2606.30248v2cs.CV

당신의 데이터 매니폴드는 비밀리에 보상 모델이다: 텍스트-투-비디오 생성을 위한 Shell-LCC

Your Data Manifold is Secretly a Reward Model: Shell-LCC for Text-to-Video Generation

최근 텍스트-투-비디오(T2V) 확산 모델은 생성된 콘텐츠를 인간의 미적 기준에 정렬하고 현실감을 높이기 위해 보조 보상 신호(예: 보상 모델 또는 DPO)에 크게 의존한다. 그러나 이러한 신호는 상당한 계산 오버헤드를 발생시키고, 비용이 큰 인간 어노테이션을 요구하며, 세밀한 국소 디테일에서는 종종 제한적인 개선만을 낳는다. 본 논문에서는 데이터 매니폴드가 비밀리에 보상 모델이라는 점을 주장한다. 고품질 지도 미세조정(SFT) 데이터의 매니폴드 구조를 명시적으로 모델링하고 비디오 잠재 표현이 이 매니폴드 위에 놓이도록 유도함으로써, 밀집적이고 미분 가능하며 거의 비용이 들지 않는 보상 신호를 도출하여, 특히 저수준 왜곡을 완화하는 데 있어 비디오 품질을 크게 향상시킨다. 우리의 모델링은 매니폴드의 '골격(skeleton)'을 포착하는 지역 좌표 코딩(Local Coordinate Coding, LCC)을 기반으로 한다. 그러나 LCC를 직접 적용하면 평균 회귀(mean regression) 문제가 발생하여 잠재 표현이 기하학적 평균으로 끌려가 고주파 디테일을 잃게 된다. 따라서 이를 Shell Local Coordinate Coding(Shell-LCC)으로 확장하는데, 이는 매니폴드 '표면(surface)'을 등방성 셸(isotropic shell)로 모델링하여 실제 고밀도 영역과 정렬한다. 실험 결과, 제안 방법은 현실감을 향상시키고, 고주파 디테일을 강화하며, 과도한 스무딩 아티팩트를 줄이고, 모션 블러를 완화함을 보여준다.

arXiv:2606.26668v1cs.CV

Disco-LoRA: 다중 개념 비디오 맞춤화를 위한 콘텐츠, 스타일, 모션의 분리적 결합

Disco-LoRA: Disentangled Composition of Content, Style, and Motion for Multi-concept Video Customization

T2V(Text-to-Video) 모델에서 콘텐츠, 스타일, 모션을 동시에 제어하는 다중 개념 비디오 맞춤화 문제를 해결하기 위해, Disco-LoRA는 반복적 이중 LoRA 분리 프레임워크로 각 개념을 분리 학습하고 Z-score 기반 통계적 정규화로 LoRA 가중치 분포를 정렬해 개념 간 간섭 없이 자유롭게 결합한다. 광범위한 실험에서 외형, 스타일, 모션 보존 모두에서 최첨단 성능을 달성했다.

arXiv:2606.24829v1cs.CV

GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction

Camera-prompted text-to-video (T2V) models are increasingly used to synthesize virtual camera captures, such as orbiting objects or moving through static scenes. For these outputs, visual plausibility is insufficient: the generated frames should also provide coherent multi-view evidence for a single static 3D scene. We introduce GeoT2V-Bench, a reconstruction-based diagnostic benchmark for evaluating whether camera-prompted T2V clips can support explicit rigid 3D reconstruction. Our pipeline estimates per-frame camera intrinsics and poses with VGGT-style geometry estimation, fits DeformableGS, derives a static MedianGS proxy by temporal-median aggregation, and renders this proxy along the estimated camera path. Instead of producing a pass/fail label or a single scalar score, GeoT2V-Bench reports a continuous reconstruction profile covering apparent image motion, estimated trajectory behavior, MedianGS static rendering error, static-render flow agreement, and the gap between flexible and static fits. On a fair-format four-seed evaluation with 3,840 completed reconstructions from 12 open-weight model configurations and 80 GeCo-Eval static-scene prompts, we find that visible motion, static rendering error, flow agreement, and flexible-vs-static behavior often disagree. GeoT2V-Bench therefore captures complementary failure modes that emerge when generated videos are tested as global static-scene acquisitions.

arXiv:2606.22347v1cs.CV

Identity-Action Decoupling을 통한 비디오 초상화 맞춤화

Customizing Video Portraits via Identity-ActionDecoupling

정체성 보존 텍스트-투-비디오 생성(Identity-Preserving Text-to-Video Generation, IPT2V)은 참조 이미지와 텍스트 설명으로부터 시간적으로 일관된 영상을 합성하면서, 동시에 대상의 정체성을 보존하고 얼굴 역학에 대한 세밀한 제어를 가능하게 하는 것을 목표로 한다. 최근 ID-Animator, ConsisID와 같은 방법들은 추론 시점에만 정체성 특징을 주입하지만, 얼굴 임베딩에 포함된 ID와 무관한 정보를 무시하여, 프롬프트를 제대로 따르지 못하는 단조롭거나 부정확한 얼굴 움직임을 초래한다. 이 문제를 해결하기 위해 Identity-Action Decoupling(IaD) 프레임워크와 Identity Decoupling Loss, Text Alignment Loss라는 두 가지 손실 함수를 제안한다. 대상별 미세조정 없이도 IaD는 (1) 시간에 걸친 정체성 일관성을 유지하고 (2) 입력 텍스트와 밀접하게 일치하는 풍부하고 제어 가능한 표정 및 장면 변화를 보여주는 영상을 생성한다.

arXiv:2606.21146v1cs.CV

ChronoLock: 무단 텍스트-투-비디오(T2V) 개인화로부터 동영상 보호

ChronoLock: Protecting Videos from Unauthorized Text-to-Video Personalization

텍스트-투-비디오(T2V) 확산(diffusion) 모델은 사실적이고 시간적으로 일관된 동영상을 합성하는 것을 점점 더 쉽게 만들었으며, 최근 개인화(personalization) 기법은 단 몇 개의 참조 클립만으로 이러한 모델이 특정 피사체, 스타일, 또는 동작 패턴을 모방하도록 할 수 있다. 이러한 기능은 새로운 데이터 오용 위험을 만든다. 온라인에 공유된 동영상이 수집되어 무단 T2V 미세조정에 사용될 수 있기 때문이다. 기존의 보호용 교란(perturbation)은 주로 이미지 인식이나 텍스트-투-이미지 개인화를 위해 설계되어, 따라서 동영상 개인화를 가능하게 하는 시간적 디노이징(denoising) 역학보다는 정적 외형 단서를 손상시키는 데 초점을 맞춘다. 이 격차를 해소하기 위해, 우리는 공개된 동영상이 무단 T2V 개인화에 악용되기 어렵게 만드는 최초의 선제적 보호 프레임워크인 ChronoLock을 제안한다. ChronoLock은 시간적 디노이징 궤적에 대해 경계가 있는 교란을 최적화함으로써 동작 학습 과정을 직접 겨냥한다. 먼저 적합 오류(fitting error), 프레임 상대적 디노이징 관계, 인접 프레임 변화를 결합한 확산 목적 함수로 청크 내(intra-chunk) 시간적 적응을 방해하고, 이어 청크 간(inter-chunk) 경계 불일치를 확대하여 장거리 동작 연속성을 약화시킨다. 변환 샘플링 기반 업데이트(transformation-sampled updates)는 일반적인 전처리 연산에 대한 견고성을 더욱 향상시킨다. UCF Sports와 HMDB51에서 인기 있는 T2V 백본 및 개인화 방식을 사용한 실험은 ChronoLock이 자동 지표와 인간 평가 모두에서 동작 모방을 효과적으로 줄인다는 것을 보여준다.

arXiv:2606.19495v1cs.CV

LooseControlVideo: 공간적 블로킹(Spatial Blocking)을 이용한 비디오 연출 제어

LooseControlVideo: Directorial Video Control using Spatial Blocking

텍스트-비디오 생성(text-to-video)에서 정밀한 3D 공간 구성(orchestration)은 여전히 중요한 도전 과제로 남아 있으며, 특히 의미적 레이아웃(semantic layout)과 시간적 역학(temporal dynamics)이 서로 얽혀 있는 다중 객체 장면에서 더욱 그렇습니다. 기존 깊이 조건부 모델(depth-conditioned models)은 우수한 구조적 충실도(structural fidelity)를 달성하지만, 변형 가능한 객체(deformable objects)가 포함된 동적 이벤트의 경우 밀집하고 프레임 단위로 정확한 가이던스(guidance)가 필요하여 작성에 많은 노력이 듭니다. 본 논문에서는 희소하고 방향성 있는 3D 박스를 "블로킹(blocking)" 프록시로 사용하여 직관적이고 표현력 있는 제어를 가능하게 하는 LooseControlVideo 프레임워크를 제시합니다. 이를 통해 사용자는 고수준의 레이아웃(layout)과 궤적(trajectory)을 설정하는 한편, 비디오 생성 모델(video generative model)을 활용하여 사실적인 오클루전(occlusion), 역학(dynamics) 및 상호작용을 생성할 수 있습니다. 우리는 3D 크기, 방향 및 깊이 순서 오클루전(depth-ordered occlusions)에 대한 새로운 인코딩인 DNOCS로 주석이 달린 비디오 데이터셋(dataset)에서 Wan 2.2 백본(backbone)을 미세조정(fine-tuning)하여 이를 달성했습니다. 또한, 본 방법은 점프 궤적 조정이나 상호작용 추가와 같은 국소적 수정(localized refinement)을 전역 장면 컨텍스트(global scene context)에 미치는 영향을 최소화하면서 수행할 수 있습니다. nuScenes, HO-3D, BEHAVE 벤치마크(benchmarks)에 대한 광범위한 평가 결과, LooseControlVideo는 기존 2D 박스 및 플로우 기반 베이스라인(baselines)을 크게 능가하는 것으로 나타났습니다. 연구 결과에 따르면, 현재 최첨단 레이아웃 조건부 모델(layout-conditioned models) 대비 궤적 오차(Trajectory Error)가 1.2배에서 3배 개선되었고, 강체 운동 일관성(Rigid Motion Consistency)은 2배 개선되었으며, 오클루전 정확도(Occlusion Accuracy)는 1.5배에서 2배 증가했습니다. 이는 방향성 있는 3D 프리미티브(primitives)가 복잡한 다중 에이전트(multi-agent) 비디오 제작(video authoring)을 위해 훌륭한 기하학적 사전(geometric prior)을 제공함을 입증합니다.

arXiv:2606.13768v2cs.CV

CineOrchestra: 시네마틱 비디오 생성을 위한 통합 엔티티 중심 컨디셔닝

CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation

시네마틱 비디오는 특정 순간에 행동하거나 상호작용하는 여러 주체를 묘사하며, 의도적인 카메라 움직임으로 촬영되고 샷 전환(shot transitions)을 통해 연결됩니다. 이러한 요소들은 현재의 텍스트-투-비디오(text-to-video) 모델을 넘어서는 수준의 미세한 제어(fine-grained control)를 요구합니다. 기존 연구는 다중 주체 개인화, 시간적 제어, 다중 샷 합성, 또는 카메라 제어와 같이 각 축(axis)을 개별적으로 다루었으며, 네 가지를 모두 통합적으로 결합한 이전 프레임워크는 없습니다. 우리는 주체, 이벤트, 카메라, 샷 전환을 동시에 제어하는 통합 비디오 디퓨전 모델인 CineOrchestra를 제안합니다. 우리의 핵심 통찰은 이러한 이질적인 시네마틱 요소들이 기본 구조를 공유한다는 것입니다. 즉, 각 요소는 특정 시간 간격(temporal interval) 동안 작용하는 엔티티(entity)이므로, 시각적 엔티티를 위한 참조 이미지로 보강된 엔티티 중심 컨디셔닝 프리미티브(primitives)의 하나의 공유 구조를 통해 모두 표현될 수 있습니다. 이 공식화를 통해 아키텍처적 문제를 단일 위치 인코딩(positional encoding) 문제로 축소하였으며, 이를 매개변수가 없는 두 개의 조정된 회전 임베딩(rotary embeddings)으로 해결했습니다: (a) 지속 시간이 급격하게 변하는 이벤트 간에 일관된 어텐션(attention) 동작을 생성하는 간격 샘플링 시간적 RoPE, (b) 엔티티별 조건을 명확히 하고 각 조건을 해당하는 시공간 영역으로 라우팅하는 2D 엔티티-시간 크로스 어텐션 RoPE. 두 개의 새로운 벤치마크(benchmarks)에서 CineOrchestra는 밀집 캡션(dense caption) 추종 및 샷 전환 타이밍 측면에서 6개의 축별 전문가(per-axis specialists)를 능가했으며, 쌍대 비교 사용자 연구(pairwise user study) 및 구성 요소 제거 실험(component ablations)에서도 일관된 이득을 보였습니다. 프로젝트 페이지: https://snap-research.github.io/CineOrchestra

arXiv:2606.09639v2cs.CV

CineDance: 차세대 멀티샷 장편 시네마틱 오디오-비디오 생성을 향하여

CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation

학습 데이터셋의 충실도와 구조적 다양성은 비디오 생성 모델의 능력을 근본적으로 결정합니다. 상용 시스템은 영화적 내러티브를 생성하는 뛰어난 능력을 보여주지만, 오픈소스 모델의 발전은 고품질 학습 데이터의 부족으로 제한되어 있습니다. 이러한 격차를 해소하기 위해, 우리는 멀티샷(multi-shot) 롱폼(long-form) 결합 오디오-비디오 생성을 위해 특별히 설계된 대규모 오픈 연구용 텍스트-오디오-비디오(T2AV) 데이터셋인 CineDance-1M을 소개합니다. 비디오당 평균 92.8초와 24.2개의 연속 샷을 포함하며, 오디오 및 비디오 모달리티 모두에 대해 구성 가능한 구조적 어노테이션을 제공합니다. 이러한 뛰어난 품질은 엄격한 3단계 큐레이션 파이프라인을 통해 달성됩니다: i) 다양한 소싱과 포괄적 정제, ii) 영화 이론에 기반한 내러티브 파싱, iii) 계층적 이중 모달리티 캡셔닝. 포괄적 평가를 위해, 우리는 복잡한 내러티브 오디오-비디오 평가에 맞춘 다양한 프롬프트 세트와 6차원 인간 정렬(human-aligned) 메트릭 시스템을 특징으로 하는 CineBench를 제안합니다. 또한, 우리는 LTX-2.3을 CineDance에 적용하여, 뛰어난 단일 모달리티 품질과 정확한 오디오-비디오 정렬, 그리고 견고한 주제 및 환경 일관성을 함께 보여주며, 우리의 큐레이션 전략과 CineDance-1M의 고품질을 효과적으로 검증했습니다. 우리는 이 연구가 멀티샷 롱폼 결합 오디오-비디오 생성 분야의 향후 연구를 가속화하는 견고한 기반이 될 것으로 기대합니다. 프로젝트 페이지는 https://aliothchen.github.io/projects/CineDance/ 에서 확인할 수 있습니다.

arXiv:2606.11969v1cs.CV

SpecLoR: 움직임 일관성 텍스트-투-비디오 생성을 위한 스펙트럴 룩어헤드 정류

SpecLoR: Spectral Lookahead Rectification for Motion-Coherent Text-to-Video Generation

플로우 매칭(Flow Matching)은 잠재 ODE 샘플링을 통해 강건한 텍스트-투-비디오 생성을 가능하게 했습니다. 그러나 속도 근사 및 수치적 이산화 오류가 불가피하게 누적되어 샘플링 궤적이 편향됩니다. 그 결과, 생성된 비디오는 심각한 시공간적 불일치를 겪는 경우가 많습니다. 그럼에도 불구하고, 이렇게 편향된 노이즈 잠재 변수를 직접 수정하는 것은 어렵습니다: (i) 타임스텝에 의존하는 노이즈가 신뢰할 수 있는 구조적 단서를 가리고, (ii) 공간적 개입은 복잡한 국소 기하학을 훼손하면서 높은 계산 비용을 초래할 위험이 있습니다. 이를 해결하기 위해, 우리는 Spectral Lookahead Rectification(SpecLoR)을 제안합니다. SpecLoR은 룩어헤드 예측을 통해 노이즈를 우회하고, 보정을 주파수 도메인으로 이동시킴으로써 시공간적 얽힘을 회피하는 플러그 앤 플레이 추론 방법으로, 자연 비디오의 보편적 통계적 사전 분포를 손쉽게 활용할 수 있습니다. 먼저, 샘플링 초기 단계에서 SpecLoR은 룩어헤드를 통해 깨끗한 잠재 변수 $z_{t,0}$를 추정하고 3D 시공간 스펙트럼을 계산합니다. 다음으로, SpecLoR은 위상을 유지하면서 사전 분포에 맞게 진폭 스펙트럼을 정류합니다. 마지막으로, 수정된 상태는 ODE 적분을 재개하기 위해 다시 노이즈가 추가됩니다. Wan2.2에 대한 실험은 SpecLoR이 최소한의 계산 오버헤드(추가 NFE 4회)로 여러 벤치마크에서 물리적 아티팩트를 크게 줄이고 움직임 일관성을 향상시킴을 입증합니다.

arXiv:2606.11838v1cs.CV

시공간 장면 그래프 그라운딩 기반 계획-검증 비디오 보상 추론

Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding

텍스트-투-비디오(T2V) 생성을 위한 보상 모델은 사후 학습을 안내하지만, 종종 세밀한 의미적 정렬에서 실패한다. 우리는 이를 기존 추론 기반 보상 모델의 두 가지 구조적 약점으로 추적한다: 프롬프트에 기술된 모든 조건을 체계적으로 검증하지 않으며, 각 판단을 뒷받침하는 시각적 근거가 자유 형식 추론 내에 암묵적으로 남아 있다는 것이다. 우리는 시공간 장면 그래프에 기반한 계획-검증 추론을 통해 이러한 한계를 해결하는 비디오 보상 모델인 SG-PVR을 제안한다. 검증 계획은 프롬프트를 원자적 주장으로 분해하여 모든 요구사항이 확인되도록 한다. 개체, 속성, 시간적으로 정렬된 관계를 인코딩하는 시공간 장면 그래프는 비디오에서 추출되어 추론 전 과정에 걸쳐 지속적인 구조화된 시각 참조로 유지된다. 각 주장은 비디오와 장면 그래프 모두에 대해 검증되어, 판단을 명시적 시각 증거에 고정한다. SG-PVR은 세밀한 시간적 의미론을 포함한 의미적 정렬에서 강한 성능을 달성한다. 테스트 시점 재순위화기(test-time reranker)로서 T2V 생성의 구성적 정렬을 더욱 향상시킨다.