arXiv:2601.01352v2 cs.CV

Slot-ID: 슬롯 기반 시간적 정체성 인코딩을 통한 참조 비디오로부터의 정체성 보존 비디오 생성

Slot-ID: Identity-Preserving Video Generation from Reference Videos via Slot-Based Temporal Identity Encoding

Yixuan Lai, He Wang, Kun Zhou, Tianjia Shao

제출 2026-09-22

한국어 초록

인간의 정체성을 보존하는 텍스트-투-비디오(text-to-video) 생성은 시점, 표정, 조명, 움직임의 큰 변화 상황에서 여전히 어려운 과제로 남아 있다. 기존 방법들은 생성기를 단일 참조 인물 사진(portrait)에 조건화하지만, 정적 이미지는 시점과 표정 변화에 따라 정체성을 나타내는 단서(cue)가 어떻게 변화하는지 포착할 수 없어 얼굴 변형, 포즈 고정(pose locking), 정체성 드리프트(identity drift), 또는 과도하게 매끄러워진 얼굴로 이어진다. 우리는 짧은 참조 클립이 단일 이미지보다 더 풍부한 시간적·다중 시점 정체성 단서를 자연스럽게 제공한다는 점을 관찰하였으며, 이는 비디오 참조 기반 정식화(video-referential formulation)의 동기가 된다. 그러나 이러한 더 풍부한 신호는 새로운 과제를 야기한다: 정체성 증거가 여러 프레임에 걸쳐 분산되어 있으며, 제한된 토큰 예산 하에서 이를 압축되고 안정적인 표현으로 증류(distill)해야 한다는 것이다. 이를 위해 우리는 고정된(frozen) 텍스트-투-비디오 백본 위에 구축된 경량 정체성 조건화 프레임워크인 Slot-ID를 제안한다. Slot-ID는 싱크혼(Sinkhorn) 라우팅 기반의 반복적 읽기(iterative reading)를 사용하는 슬롯 기반 시간적 정체성 인코더를 통해 참조 클립으로부터 압축되고 안정적인 정체성 토큰(token) 집합을 증류하며, 이는 이중 소스 조건화를 위한 이미지 앵커 스트림(image-anchor stream)으로 보완된다. 광범위한 실험을 통해 Slot-ID가 정체성 보존과 시각적 자연스러움 측면에서 최신(state-of-the-art) 방법들을 능가하는 동시에 프롬프트(prompt) 추종 성능에서도 경쟁력을 유지하며, 특히 까다로운 포즈, 표정, 움직임 변화 상황에서 큰 성능 향상을 보인다는 것을 입증한다.

원문 초록

Human identity-preserving text-to-video generation remains challenging under large changes in viewpoint, facial expression, illumination, and motion. Existing methods condition the generator on a single reference portrait, but a static image cannot capture how identity-bearing cues evolve across views and expressions, leading to face deformation, pose locking, identity drift, or over-smoothed faces. We observe that a short reference clip naturally provides richer temporal and multi-view identity cues than any single image, motivating a video-referential formulation. This richer signal, however, introduces a new challenge: identity evidence is distributed across many frames and must be distilled into a compact, stable representation under a limited token budget. To this end, we propose Slot-ID, a lightweight identity-conditioning framework built on a frozen text-to-video backbone. Slot-ID employs a slot-based temporal identity encoder with Sinkhorn-routed iterative reading to distill a compact, stable set of identity tokens from the reference clip, complemented by an image-anchor stream for dual-source conditioning. Extensive experiments demonstrate that Slot-ID outperforms state-of-the-art methods in identity preservation and visual naturalness while remaining competitive in prompt following, with particularly large gains under challenging pose, expression, and motion variations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.01352v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.11023v1cs.CV공통 태그 Face Recognition, Video Generation, identity preservation

아이덴티티 보존 비디오 생성을 위한 표정 다양성 참조 이미지

Expression-Diverse References for Identity-Preserving Video Generation

아이덴티티 보존 비디오 생성(Identity-preserving video generation)은 사실적인 비디오를 합성하면서 대상(subject)의 아이덴티티를 유지하는 것을 목표로 한다. 그러나 단일 참조 인물 사진(reference portrait)은 하나의 얼굴 구성(facial configuration) 하에서만 대상의 외형을 포착한다. 표정이 변화함에 따라 얼굴 외형은 아이덴티티에 매우 특이적인 방식으로 달라질 수 있으며, 이로 인해 보지 못한 표정 하에서의 대상 외형은 참조 이미지만으로는 충분히 결정되지 않는다. 이러한 표정 의존적 변화는 평가 또한 복잡하게 만든다: 동일 인물의 실제 이미지라도 강한 표정 하에서는 중립(neutral) 참조와의 유사도가 감소할 수 있다. 우리는 이러한 한계를 생성과 평가 양쪽 관점에서 조사한다. 먼저, 우리는 통제된 사진과 MEAD 비디오를 사용하여 표정 강도(expression intensity)에 따라 얼굴 인식 유사도(face-recognition similarity)가 어떻게 달라지는지를 정량화한다. 그다음, 우리는 다양한 표정 의존적 얼굴 구성을 포착하는 작지만 표현력 있는 참조 갤러리(reference gallery)를 구축한다. 이 갤러리와의 매칭은 표정이 풍부한 움직임(expressive motion) 하에서 아이덴티티 유사도에 대해 더 견고한 측정치를 제공한다. 표정 강도에 따른 성능 저하를 추가로 드러내기 위해, 우리는 약한(mild), 강한(intense), 극단적인(extreme) 표정에 대해 아이덴티티 유사도를 각각 별도로 보고한다. 생성 측면에서는, 우리는 Stand-In을 확장하여 표정 다양성 참조 세트(expression-diverse reference sets)에 조건화(condition)하도록 하고, 학습 비디오로부터 일관되면서도 다양한 얼굴 크롭(face crop)을 추출하는 데이터 큐레이션 파이프라인(data-curation pipeline)을 개발한다. 단일 인물 사진만 사용 가능한 실용적인 환경에서는, 사전학습된 얼굴 재연(facial reenactment) 모델로 추가적인 표정을 합성하여 참조 세트를 구성한다. 우리의 통제된 벤치마크(benchmark)에서, 실제 참조 세트와 합성 참조 세트 모두 세 가지 표정 강도 구간 전반에서 평가된 베이스라인(baseline)보다 아이덴티티 유사도 측면에서 더 우수한 성능을 보였으며, 극단적인 표정에서 가장 큰 개선을 보였다.

arXiv:2609.23153v2cs.CV공통 태그 Video Generation, text-to-video

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2610.03221v1cs.CV공통 태그 Video Generation, text-to-video

VDOT++: 불균형 최적 수송 증류를 통한 통합 소수 단계 비디오 생성

VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation

비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.

arXiv:2609.23658v1cs.CV공통 태그 Video Generation, text-to-video

비디오 확산 모델은 왜 물리를 위반하는가? 어텐션 메커니즘의 결함 규명

Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms

뛰어난 시각적 품질에도 불구하고, 최신 비디오 확산 모델은 종종 실세계 물리 법칙을 위반하는 콘텐츠를 생성한다. 기존 해결책은 외부 사전(prior)이나 특화 데이터에 의존하는 반면, 우리는 이러한 모델의 내부 메커니즘을 탐구하여 근본 원인을 조사한다. 구체적으로, text-to-video 확산 모델의 ''motion planning'' 과정에 대한 최초의 해석 가능성(interpretability) 연구를 제시하며, 초기 디노이징(denoising) 단계에서 움직임 궤적(motion trajectory)이 어떻게 형성되는지 밝힌다. ''first shape, then details'' 발견을 바탕으로, cross-attention 궤적 패턴과 인과적 헤드(causal head) 기여를 결합하여 motion planning을 주도하는 어텐션 헤드의 특정 부분집합을 식별한다. 또한 self-attention 분석은 Rotary Position Embedding(RoPE)이 과도한 공간 어텐션 감쇠(attention decay)를 유발함을 보여준다. 이로 인해 초기 후보 영역이 물리적으로 불가능한 위치에 조기 고정되어, 인접 프레임의 합리적인 궤적을 억압하고 생성 실패 모드를 유발한다. 이 근본적 결함을 해결하기 위해, 서로 다른 디노이징 단계에서 RoPE의 주파수를 조절(scale)하는 경량 아키텍처 수정을 제안한다. 이 전략은 과도한 어텐션 감쇠를 줄여, 모델이 일관된 물리적 움직임을 확립하기 위해 더 나은 후보 영역을 탐색하도록 돕는다. 마지막으로, 학습 없는(training-free) 및 학습 기반(training-based) 실험이 생성된 비디오의 물리 상식(physical commonsense) 향상에서 우리 접근법의 효과를 확인한다.

arXiv:2609.24208v1cs.CV공통 태그 Video Generation, text-to-video

CoaG: 그리드 위의 원기둥: 비디오 생성을 위한 대략적인 3D 레이아웃 제어

CoaG: Cylinders on a Grid: Coarse 3D Layout Control for Video Generation

우리는 생성된 비디오에서 사람이 서 있는 위치와 카메라가 움직이는 경로를 모두 제어하기 위해 사용자가 얼마나 적은 기하학적 요소(geometry)를 그려야 하는지 질문을 던집니다. 우리의 답은 지면(ground plane)과 사람당 하나의 원기둥(cylinder)입니다. 사용자가 지면에 그리드를 그리고, 각 사람이 서 있어야 할 위치에 원기둥을 하나씩 배치한 뒤, 81프레임에 걸쳐 원기둥과 카메라를 이동시키면, 모델은 사람들이 원기둥의 위치를 차지하고 원기둥이 움직이는 대로 이동하며 그려진 카메라 시점에서 바라본 사실적인 비디오를 렌더링합니다. 외형(appearance)은 텍스트 프롬프트와 배경 참조 이미지에서 비롯되며, 레이아웃과 움직임은 기하학적 형상에서 비롯됩니다. 이러한 신호와 비디오를 쌍으로 묶은 데이터셋이 없기 때문에, 우리는 이 쌍을 직접 구축합니다. 자동화 엔진이 조합형 시드(combinatorial seed)로부터 2,000개의 캡션을 작성하고, 텍스트-비디오(text-to-video) 모델로 각각에 대한 클립을 생성한 다음, 실제 영상이나 수작업 라벨 없이 사람 추적(tracking), 배경 인페인팅(inpainting), 에이전트 기반 지면 마스크 루프, 피드포워드 다중 시점 재구성(feed-forward multi-view reconstruction) 및 평면 피팅을 통해 모든 클립을 기하학적 형상으로 다시 복원(lift)합니다. 이러한 1,935개의 튜플로 학습된 Wan2.2-Fun-Control 기반의 LoRA는 홀드아웃 클립에서 그려진 레이아웃과 카메라 경로를 잘 따릅니다. 즉, 생성된 인물들은 원기둥의 개수, 순서, 위치 및 높이와 일치하며, 텍스트는 인물이 누구인지를 바꾸고, 참조 이미지는 그들이 어디에 있는지를 변경하며, 돌리-인(dolly-in), 오빗(orbit), 팬(pan), 크레인(crane) 경로는 따르지만 돌리-아웃(dolly-out)은 약하게만 따릅니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.