PyTorchKR Papers

최신 논문

총 59편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00047v3cs.MM

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo is a scene-for-scene AI reconstruction of Hitchcock's Vertigo (1958), generated from only 2.78% of the original film's frames. Using this sparse set of keyframe anchors, we perform first-last frame interpolation via a large video diffusion model to predict the intervening sequences. Vertigo is itself a film about the obsessive reconstruction of an artificial ideal; Vertigo Vertigo extends this logic to the material of the film, treating the canonical text as a probe for the normative conventions of classical cinema encoded within generative systems. Evaluated through computational analysis and critical feedback from media theorists (Lev Manovich, Shane Denson, Kevin L. Ferguson), the artifact demonstrates remarkable structural fidelity: 73.1% of frames are recognizable as plausible renditions of Vertigo and only 3.6% fail catastrophically. This fidelity suggests that cinematic norms are deeply compressed within the model's latent priors. Aesthetically, the reconstruction is rendered as an unstable overlay between the original film and its predictive shadow, fueling a persistent doubt in the viewer's perception of authenticity -- a 21st-century vertigo. The work argues that generative media is not a paradigm shift from cinema but an acceleration of its logic of desire and false authenticity, extending from classical Hollywood through to the predictive media environments now reshaping contemporary perception.

arXiv:2510.21615v3cs.CV

에피폴라 기하학이 비디오 생성 모델을 향상시킵니다

Epipolar Geometry Improves Video Generation Models

Video generation models have advanced significantly through the latent diffusion transformers trained with rectified flow techniques. Yet these models still struggle with geometric inconsistencies, unstable motion, and visual artifacts that break the illusion of realistic 3D scenes. 3D-consistent video generation could significantly impact numerous downstream applications in generation and reconstruction tasks. We explore how epipolar geometry constraints improve modern video diffusion models. Despite using massive training data, these models fail to capture fundamental geometric principles. We align diffusion models using pairwise epipolar geometry constraints via preference-based optimization, directly addressing unstable trajectories and geometric artifacts through mathematically principled geometric enforcement. Our approach efficiently enforces geometric principles without requiring end-to-end differentiability. Evaluation demonstrates that classical geometric constraints provide more reliable preference signals than the video-quality and geometry metrics based on foundational models. We construct preferences from static scenes with camera motion, where the epipolar metric is most reliable, while the aligned model generalizes to dynamic scenes. By bridging data-driven learning with classical computer vision, we reduce epipolar error by 31% and improve human-rated consistency from 54% to 72% without compromising visual quality.

arXiv:2607.03012v2cs.CV

HyperVAttention: 비디오 디퓨전을 위한 시공간 클러스터링 기반 효율적인 희소 어텐션

HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion

Video Diffusion Transformers (VDiTs) have demonstrated significant capabilities in high-fidelity video generation. However, their ability to produce long-duration videos is fundamentally constrained by the quadratic complexity of the self-attention mechanism. Recent clustering-based sparse attention methods improve the quality-speed trade-off by grouping semantically similar tokens, but their practical efficiency remains limited by two bottlenecks: substantial clustering overhead and low CTA utilization caused by irregular cluster-induced blocks. We propose HyperVAttention (HVA), a training-free sparse attention framework that addresses both bottlenecks jointly. To reduce clustering overhead, we introduce 3D local-window clustering, which exploits the spatio-temporal locality of video tokens to restrict centroid search to fixed local neighborhoods, and implement it with a custom Triton kernel for efficient execution. We further propose a hybrid clustering strategy that performs full clustering only at anchor steps and updates only subset tokens at intermediate steps, leveraging the temporal stability of cluster assignments across denoising steps. To improve CTA utilization, we present hardware-aware cluster merging that minimizes CTA-aligned execution cost through parallel agglomerative merging, improving block density and approximation fidelity by utilizing idle tile capacity. Together, these components reduce clustering overhead, avoid redundant updates, and better align sparse attention with the fixed tile structure of modern GPU kernels. Experiments on video generation show that HVA advances the Pareto frontier of training free sparse attention, achieving higher fidelity than SVG2 at comparable latency and a $2.13\times$ speedup over full attention on HunyuanVideo, or $2.23\times$ with its faster variant HVA-Flash.

arXiv:2610.10984v1cs.CV

Fluid-Gen-Zero: 학습 없이 사전학습된 비디오 생성기를 물리 법칙에 그라운딩하기

Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training

본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.

arXiv:2609.23153v2cs.CV

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2603.15614v2cs.CV

Tri-Prompting: 장면, 대상 및 모션을 통합 제어하는 비디오 확산 모델

Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion

최근 비디오 확산 모델(video diffusion model)들은 뛰어난 시각적 품질과 시간적 일관성을 달성하고 있지만, 장면 레이아웃, 사용자 맞춤형 대상의 정체성(identity), 카메라/대상 모션에 대한 조율된 제어는 여전히 부족합니다. 본 연구에서는 첫 프레임 장면 이미지, 3D 인식 다중 시점 대상 참조(reference), 모션 구동 신호라는 세 가지 프롬프트를 통한 제어 가능한 비디오 생성을 다룹니다. 카메라 모션 하에서 배경 영역은 대체로 추적이 가능한 반면, 전경 대상은 회전하거나 자체 가림(self-occlusion)이 발생하고 정체성이 유지되는 외형이 필요한 새로운 영역을 드러낼 수 있으므로 이러한 설정은 도전적인 과제입니다. 이에 다중 시점 대상 조건화와 이중 조건화된 모션 제어를 결합한 비디오 확산 프레임워크인 Tri-Prompting을 소개합니다. Tri-Prompting은 가시적인 배경 모션에는 XYZ 추적 포인트를 사용하고 전경 대상 자세에는 저해상도 RGB 프록시를 사용하여, 모델이 다중 시점 참조로부터 정밀한 외형을 복원하는 동시에 타당한 대상-장면 상호작용을 위한 유연성을 유지하도록 합니다. 또한 추론(inference) 시점의 ControlNet 스케일 스케줄을 통해 모션 제어 가능성과 시각적 사실성 간의 균형을 더욱 세밀하게 맞춥니다. 모션 재구성을 위한 DaS 및 대상 기반 생성을 위한 Phantom과 같은 특화된 베이스라인들과 비교 평가한 결과, Tri-Prompting은 경쟁력 있거나 개선된 재구성 품질, 더 강력한 다중 시점 정체성 보존, 향상된 3D 일관성을 달성하는 동시에 3D 인식 대상 삽입 및 장면 내 조작을 가능하게 합니다.

arXiv:2609.20744v3cs.LG

Video DeltaNet: 라이브스트림 비디오 생성을 위한 비디오 네이티브 하이브리드 어텐션

Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation

비디오 확산 모델(video diffusion model)은 노이즈 제거(denoising) 과정에서 긴 시공간 토큰 시퀀스를 반복적으로 처리하므로, 어텐션이 주요한 계산 병목점이 됩니다. 선형 어텐션(linear attention)은 매력적인 대안을 제공하며 최근 대규모 언어 모델(LLM)에 널리 도입되었으나, 비디오 모델에 직접 적용할 경우 고품질 생성에 필요한 세밀한 상호작용을 보존하지 못하는 경우가 많습니다. 본 논문에서는 장거리 비디오 문맥을 위해 로컬 소프트맥스 어텐션과 양방향 선형 메모리를 결합한 Video DeltaNet(VDN)을 제시합니다. VDN의 선형 브랜치는 공간 토큰들을 함께 통합하여 프레임당 한 번 메모리를 업데이트하는 Video Delta Attention(VDA)을 도입합니다. 별도의 출력 투영(output projection)과 학습 가능한 게이트가 두 브랜치를 보정하며, 단계별 교사 정렬(teacher-alignment) 레시피를 통해 사전학습된 모델에 새로운 경로를 점진적으로 도입합니다. 저자들은 MiniMax H3에 VDN을 구현하여 텍스트나 오디오와 관련된 상호작용에는 소프트맥스를 유지하면서 비디오 간 상호작용에 하이브리드 방식을 적용했습니다. 8단계 지식 증류와 최적화된 SGLang 서빙 스택을 갖춘 VDN-H3은 8개의 NVIDIA B200 GPU에서 14.3초 길이의 768p 비디오에 대한 DiT 노이즈 제거를 6.70초 만에 완료하며, 이는 동일한 GPU 수에서 50단계 밀집 H3 기준선 대비 14.5배 속도 향상에 해당합니다. GitHub 코드는 https://github.com/OpenVDN/vdn-minimax-h3 에서 제공되며, 가중치는 https://huggingface.co/OpenVDN/vdn-minimax-h3 에서 제공됩니다.

arXiv:2603.20169v2cs.CV

EgoForge: 목표 지향적 1인칭 시점 월드 시뮬레이터

EgoForge: Goal-Directed Egocentric World Simulator

생성형 월드 모델(generative world model)은 동적 환경을 시뮬레이션하는 데 가능성을 보여왔지만, 1인칭 시점(egocentric) 영상은 빠른 시점 변화, 빈번한 손-객체 상호작용, 그리고 잠재적인 인간의 의도에 따라 전개가 달라지는 목표 지향적 절차로 인해 여전히 어려운 과제로 남아 있다. 기존 접근법들은 장면 전개가 제한적인 손 중심의 지시적(instructional) 합성에 초점을 맞추거나, 행동 역학(action dynamics)을 모델링하지 않는 정적 시점 변환(static view translation)을 수행하거나, 카메라 궤적(camera trajectory), 긴 비디오 프리픽스(prefix), 동기화된 다중 카메라 촬영과 같은 조밀한 지도(supervision)에 의존한다. 본 연구에서는 단일 1인칭 시점 이미지, 상위 수준의 지시문(instruction), 그리고 선택적인 보조 3인칭 시점(exocentric view)이라는 최소한의 정적 입력으로부터 일관된 1인칭 시점 비디오 롤아웃(rollout)을 생성하는 목표 지향적 1인칭 시점 월드 시뮬레이터인 EgoForge를 제안한다. 의도 정렬(intent alignment)과 시간적 일관성을 향상시키기 위해, 목표(goal), 시간적(temporal), 장면 일관성(scene-consistency), 지각적(perceptual) 보상으로부터 도출된 긍정적 및 부정적 롤아웃 분포를 사용하여 확산 속도장(diffusion velocity field)을 일관되고 목표를 완수하는 1인칭 시점 시뮬레이션으로 유도하는 궤적 수준(trajectory-level)의 확산 정제(diffusion refinement) 기법인 GRAFT를 제안한다. 광범위한 실험을 통해 EgoForge가 강력한 베이스라인(baseline) 대비 의미적 정렬(semantic alignment), 기하학적 안정성(geometric stability), 모션 충실도(motion fidelity) 측면에서 일관된 성능 향상을 달성하며, 실제 스마트 글래스 실험에서도 견고하게 동작함을 보여준다.

arXiv:2609.24788v1cs.CV

쉬운 적응을 통한 스트리밍 비디오 편집

Streaming Video Editing with Easy Adaptation

본 논문에서는 사전학습된 양방향 비디오 확산 모델(bidirectional video diffusion model)에 대한 학습만으로 자기회귀(auto-regressive) 방식의 고품질 스트리밍 비디오 편집을 지원하는 프레임워크인 SVEET를 제안한다. 이 문제를 해결하기 위해, 먼저 기존의 비디오-투-비디오 확산 접근법들을 체계적으로 재검토하고, 이러한 스트리밍 적응을 위한 두 가지 핵심 원칙, 즉 백본 특징 분리(backbone feature disentanglement)와 조건부 프레임 독립성(conditional frame independence)을 규명한다. 이러한 통찰을 바탕으로, 제어 가능한 비디오 생성을 위한 새로운 패러다임을 개발한다. 그 핵심에는 시간적으로 독립적인 셀프 어텐션으로 소스 비디오 입력을 인코딩하는 보조 모델 분기(auxiliary model branch)가 있으며, 중간 특징들은 스트리밍 호환 제어를 위해 해당 백본 블록에 주입된다. 또한, 양방향 모델과 스트리밍 모델의 특징 공간 간 불일치를 해소하기 위해, 비디오 제어 가능성과 모델 인과성(causality)의 최적화 방향 간 직교성을 명시적으로 강제하는 분리 학습(decoupled training) 기법을 제안한다. 이러한 분리는 추론 시 두 목표 간의 호환성을 보장하고, 이질적인 백본 아키텍처 간의 원활한 제로샷 지식 전이를 촉진한다. 광범위한 실험을 통해 SVEET가 실시간 성능을 유지하면서도 우수한 편집 품질을 달성함을 입증하였으며, 어떠한 보조 가속 기법 없이도 단일 H100 GPU 17에서 15 FPS를 달성하였다. 코드는 https://github.com/YujiaHu1109/SVEET 에서 확인할 수 있다.

arXiv:2609.22283v1cs.CV

스트리밍 비디오 확산 모델 재고찰: 컨텍스트, 실행, 학습

Rethinking Streaming Video Diffusion Model: Context, Execution, and Training

스트리밍 비디오 확산(diffusion)의 설계 공간을 이해하는 것은 생성 품질과 계산 효율성 측면에서의 잠재력을 탐구하는 데 필수적이다. 본 연구에서는 모델 및 샘플러 선택, 과거 이력 조건화(historical conditioning), 실행 스케줄링, 학습 전략을 서로 연관 짓는 통합 분석 프레임워크를 개발한다. 이 프레임워크는 광범위한 계열의 인과적(causal) 컨텍스트 선택 정책을 수용하며, 이들의 계산적 의존성과 학습-추론 정합성(training-inference alignment)을 명시적으로 드러낸다. 이 설계 공간 내에서 우리는 clean, same-level, progressive history라는 세 가지 대표적인 정책을 연구한다. 전체 VBench 프롬프트 세트에서 same-level history와 progressive history는 각각 85.24, 85.60의 종합 점수를 달성했으며, 이는 clean-history 기준선의 84.45와 비교된다. 장편 비디오 비교 실험에서는 progressive history가 피사체 일관성(subject consistency)을 향상시키고 더 일관된 움직임을 보여주었다. 여러 디노이징(denoising) 노드를 함께 처리할 수 있게 함으로써, progressive-history 파이프라이닝은 우리가 평가한 조건에서 정상 상태(steady-state) DiT 기준 1.57배에서 2.83배의 속도 향상을 달성했다. 또한 DMD fake-score 네트워크에 대한 LoRA 적응(adaptation)이 전체 매개변수(parameter) 적응 대비 단 2.15%의 학습 가능한 fake-score 매개변수만으로도 생성 품질을 향상시킨다는 것을 발견했다. 이러한 결과들은 완전히 디노이징된 이력(history)이 고품질 스트리밍 생성의 필수 조건이 아님을 보여주며, 과거 이력 조건화, 실행, 학습을 공동으로 설계할 필요성을 시사한다.

arXiv:2606.27741v3cs.CV

SIFT: 비디오 확산 모델에서 물리적으로 타당한 동작을 위한 자기 상상 미세조정

SIFT: Self-Imagination Fine-Tuning for Physically Plausible Motion in Video Diffusion Models

최근 비디오 확산 모델의 발전으로 시각적 충실도가 크게 향상되었지만, 생성된 동작은 종종 물리적 타당성을 위반한다. 우리는 흔한 운동학적 실패인 "motion entanglement(모션 얽힘)", 즉 카메라 움직임과 객체 동작과 같은 독립적인 동작 원천의 의도치 않은 결합을 관찰한다. 이 문제가 데이터 바이어스와 확산 모델의 재구성 기반 학습 설계에서 기인함을 확인했다. 거친 동작 단서를 여전히 보존하는 노이즈가 있는 비디오에 대한 학습은, 운동학적으로 타당한 동작을 모델링하는 방법을 배울 유인 없이 기존 동작을 복제하도록 우발적으로 유도한다. 이를 해결하기 위해, 우리는 모델이 실제 비디오를 직접 재구성하는 대신 자신이 생성한 비디오로부터 학습할 수 있게 하는 Self-Imagination Fine-Tuning(SIFT) 패러다임을 제안하여 재구성 지름길을 끊는다. 또한 학습을 안정화하고 가속하기 위해 동작 인식 판별적 감독과 점진적 어려운 사례 재생 전략을 사용한다. 자유롭게 생성된 텍스트 프롬프트를 활용함으로써, 우리 방법은 비디오 데이터로 수집하기 비용이 많이 드는 희귀하거나 세밀하게 분리된 시나리오를 포함해 넓은 동작 공간을 조밀하게 포괄할 수 있다. 광범위한 실험을 통해 우리 접근법이 생성 비디오의 물리적 현실감, 모션 분리, 제어 가능성을 상당히 개선함을 보여준다.

arXiv:2607.23159v2cs.AI

CachedSearch: 비디오 확산에서 테스트 시점 검색을 위한 학습 없는 캐시 기반 탐험

CachedSearch: Training-Free Cached Exploration for Test-Time Search in Video Diffusion

테스트 시점 검색은 소형 비디오 확산 모델이 더 큰 모델과 대등한 성능을 낼 수 있게 하지만, 비용은 2~10배 더 든다. 모든 후보는 완전히 디노이징되지만, 대부분은 폐기된다. 학습 없는 캐싱은 거의 무손실 품질로 각 롤아웃을 2~3배 빠르게 만든다. 손실성 캐싱이 검증기(verifier) 순위를 보존할 때만 결합이 안전하다. 우리는 비디오 테스트 시점 검색에서 캐싱이 후보 순위를 손상시키는지에 대한 최초의 연구를 제시한다. 적응형 캐싱 래퍼(후보당 약 2배 속도 향상)를 적용한 Wan2.1-T2V-1.3B에서 ImageReward가 시드가 일치하는 캐시 롤아웃과 전체 롤아웃을 채점한다. 프롬프트당 Spearman 순위 상관계수의 중앙값은 0.905이며, VBench 스위트에서 top-1 일치율은 72%이다. VBench-2.0은 더 어려운 스위트에서 이 결과를 재현한다. 캐시된 우승 후보를 전체 연산으로 재계산하면 전체 검색 이득의 90~94%를 유지한다. 오류는 거의 동점인 후보들 사이에 집중되어, 손상이 스스로 제한된다. 이 발견은 CachedSearch로 이어진다. CachedSearch는 공격적인 캐싱으로 모든 후보를 탐험한 뒤, 우승 후보만 전체 연산으로 재생성한다. N=8에서 비용의 63%로 best-of-N 이득의 94.7%를 포착한다. 포착률은 폭(width)이 커질수록 증가한다. 동일 예산에서는 38% 더 많은 이득을 위해 두 배 넓게 검색한다. 이 결과는 Wan, LTX, CogVideoX, Hunyuan의 4개 계열, 6개 모델에 걸쳐 1.3B~14B에서 성립한다. Wan2.1-14B는 1.3B 모델의 충실도와 일치한다. 중간 궤적 가지치기는 88.6% 포착률에서 탐험 절감을 3.11배로 증폭한다. 다른 모델 계열로 이식하려면 단일 매개변수 재보정만 필요하며, 이는 충실도가 매개변수 수보다 아키텍처를 따른다는 것을 보여준다. CachedSearch는 학습 없이, 검증기에 무관하며, 검색 알고리즘과 직교(orthogonal)하여 테스트 시점 스케일링을 위한 플러그인 배율기가 된다.

arXiv:2607.22241v2cs.CV

AgentHOI: 암시적 표현 정렬을 통한 인간-객체 상호작용 비디오 생성을 위한 멀티 에이전트 추론

AgentHOI: Multi-Agent Reasoning for Human-Object-Interaction Video Generation via Implicit Representation Alignment

최근 비디오 확산 모델의 발전으로 단일 피사체 애니메이션을 넘어 상호작용 논리에 대한 세밀한 제어를 요구하는 인간-객체 상호작용(HOI) 비디오 생성에 대한 관심이 높아지고 있다. 그러나 기존 HOI 방법은 명시적 모션 제어에 크게 의존하여, 다양한 객체와 상호작용에 대한 확장성과 일반화를 제한한다. 본 연구에서는 AgentHOI를 제안한다. 이는 생성 전 사고(thinking-before-generation) 프레임워크를 따르는 텍스트 기반 HOI 비디오 생성 방법으로, 지각, 상호작용, 모션 계획에 걸친 멀티 에이전트 추론을 통해 고수준 텍스트 의도와 물리적 실행 사이의 간극을 메운다. 생성된 상호작용 계획을 바탕으로 텍스트 기반 모션 이해를 더욱 강화한다. 암시적 텍스트-모션 정렬 전략을 도입하여 텍스트-모션 사전 지식을 비디오 확산 모델에 지식 증류함으로써, 추론 시 명시적 모션 입력 없이도 견고한 HOI 합성을 가능하게 한다. 실험 결과, AgentHOI는 착용 및 탑승과 같은 도전적인 객체 중심 시나리오에서 상호작용 자연스러움, 객체 외형 보존, 복잡한 텍스트 지시 준수를 크게 향상시킨다. 코드는 https://github.com/bone-11/agenthoi 에서 제공된다.

arXiv:2607.20368v2cs.CV

Self Gradient Forcing: 네이티브 장기 영상 외삽

Self Gradient Forcing: Native Long Video Extrapolation

최근 자기회귀(autoregressive) 영상 확산 방법들은 Self Forcing을 기반으로 구축되는 추세이며, 여기서 학생 모델은 정답(ground-truth) 영상 컨텍스트가 아니라 자신의 롤아웃이 생성한 이력에 대해 학습된다. 이는 노출 바이어스(exposure bias)를 줄이지만, 역사적 키-값 캐시는 여전히 미래 프레임에 고정된 롤아웃 상태로만 사용된다. 그 결과 미래 손실은 이전에 생성된 잠재 변수(latent)가 이후 영상 잠 latent 생성에 더 유용한 키와 값으로 어떻게 기록되어야 하는지를 감독할 수 없다. 우리는 이를 역사적 컨텍스트-그래디언트 간극(historical context-gradient gap)이라고 부른다. 우리는 전체 직렬 롤아웃을 통해 역전파(backpropagation)하지 않고도 이 누락된 감독 신호를 복원하는 2-pass 학습 전략인 Self Gradient Forcing(SGF)을 제안한다. Pass 1은 추론과 일치하는 no-gradient 자기회귀 롤아웃을 수행하고, 샘플링된 디노이징 종료 단계에서 자기 생성 컨텍스트와 모델에 입력된 노이즈 잠 latent 변수를 모두 기록한다. Pass 2는 기록된 종료 단계에 대해 병렬 컨텍스트-그래디언트 재구성을 수행한다. 생성된 컨텍스트는 stop-gradient 클린 잠 latent 입력으로 사용되며, 모델은 컨텍스트 KV 표현과 미래-컨텍스트 인과적 어텐션을 재계산한다. 따라서 SGF는 네이티브 자기회귀 학습 목표 내에서 누락된 메모리 기록 감독을 제공하며, 미래 영상 잠 latent 변수에 대한 손실을 사용해 모델이 컨텍스트를 더 효과적인 인과적 메모리로 인코딩하도록 학습한다. 다양한 초기화 하에서 광범위한 장기 프레임 단위 및 청크 단위 실험에서 SGF는 Self Forcing보다 더 강력한 네이티브 장기 영상 외삽을 달성하며, 특히 피사체 동일성, 배경/레이아웃 일관성, 시간적 안정성에서 두드러진다. 놀랍게도 5초 학습 윈도우만 사용해도 SGF는 수 분에 달하는 영상까지 외삽할 수 있다. 코드와 모델은 자기회귀 영상 생성 연구를 촉진하기 위해 공개될 예정이다.

arXiv:2607.21027v1cs.CV

GroupVideo: 다중 정체성 맞춤형 텍스트-투-비디오 생성

GroupVideo: Multi-Identity Customized Text-to-Video Generation

현재 정체성 맞춤형 비디오 생성 방법론은 대부분 단일 정체성 시나리오에 한정되어 있으며, 명시적인 정체성 분리 메커니즘이 부족하면 다중 정체성 설정에서 정체성 혼동이 자주 발생한다. 기존 다중 정체성 접근법은 얼굴 이미지를 입력 조건으로 이어 붙여 단일 정체성 프레임워크를 직접 확장하는 방식인데, 이는 부자연스러운 표정과 동작을 초래하며 "copy-paste" 현상으로 나타난다. 이러한 한계를 극복하기 위해, 우리는 여러 개인 사진을 활용하여 정체성 맞춤형 비디오를 생성하는 새로운 프레임워크인 GroupVideo를 제안한다. Video Diffusion Transformers를 기반으로 한 GroupVideo는 다중 모달 정체성 정렬(alignment)을 통합한다. 시각적 정렬은 여러 얼굴 이미지를 공동 인코딩하여 견고한 정체성 참조를 제공하고, 의미적 정렬은 semantic perceiver를 도입하여 동작의 자연스러움을 향상시킨다. 정체성 혼합을 해결하고 정체성 충실도를 높이기 위해 공간적 가이던스를 갖춘 ID localization 모듈을 도입하며, 얼굴 영역에 집중하고 학습 효율을 개선하기 위해 경계 상자 제약과 마스크 정규화 손실을 함께 사용한다. 다중 ID 비디오 데이터셋 부족에 대응하여, 우리는 2만 개의 고품질 비디오로 구성된 포괄적인 데이터셋을 구축하였으며, 이를 통해 다중 ID 비디오 생성 분야의 향후 연구를 촉진하는 중요한 자원을 마련하였다. 광범위한 실험을 통해 GroupVideo가 일관된 정체성과 자연스러운 동작을 갖춘 다중 캐릭터 비디오 생성에서 기존 방법들을 능가함을 보여준다.

arXiv:2607.19701v1cs.CV

SafeGen: VLM 기반 자율주행을 위한 안전 임계 시나리오의 목표 조건 비디오 확산

SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving

VLM은 자율주행(AD) 시스템에 점점 더 배포되고 있어, 드물지만 안전 임계적인 시나리오에서 엄격한 안전성 평가가 시급해졌다. 이 중 취약 도로 이용자와의 상호작용은 실제 세계 실패의 주요 원인이다. 그러나 기존 안전 임계 시나리오 생성 방법은 대부분 시뮬레이터 기반 파이프라인에 의존하며, 이는 상당한 sim-to-real 격차를 겪고 현실적이고 다양하며 예견하지 못한 인간-차량 상호작용 역학을 포착하는 데 자주 실패한다. 우리는 VLM 기반 자율주행(VLMAD)에서 안전 임계 시나리오 생성을 위한 목표 조건 확산 프레임워크인 SafeGen을 제안한다. 핵심 통찰은 시나리오 생성을 목표 조건 확산 과정으로 공식화하는 것으로, 사전 정의된 치명적 종료 상태가 강한 지도 신호로 작용하여 안전 임계 결과를 향해 자연스럽게 진화하는 시간적으로 일관된 비디오 궤적 생성을 유도한다. 이 공식화를 바탕으로, 우리는 컨텍스트 그라운딩 종료 상태 추론(Context Grounded End State Reasoning)을 도입한다. 이는 VLM을 활용해 양호한 주행 컨텍스트를 분석하고 인간-차량 상호작용의 잠재적 취약점을 추론하여 고위험 시나리오를 유도하는 구조화된 종료 상태 명세를 생성한다. 이러한 목표에 조건화하여, 우리는 종료 상태 조건 비디오 진화(End State Conditioned Video Evolution)를 추가로 제안한다. 이는 의미적 위협을 물리적으로 타당한 시각적 역학으로 그라운딩한다. 구체적으로, 깊이 인식 기하학적 투영을 통해 장면 내 고위험 에이전트를 인스턴스화하고, 이어 경계 조건 확산으로 일관된 운동 패턴과 시간적 일관성을 갖는 중간 프레임을 생성한다. 3개 VLMAD에 걸친 광범위한 실험은 SafeGen이 VLM 판사를 사용해 VLMAD의 이해와 의사결정을 평가하는 지표인 Judge Overall Score를 SoTA 베이스라인 대비 평균 24.25% 향상시킴을 보여준다. 또한 VLMAD 미세조정은 실제 주행 장면에서 성능을 평균 15.9% 향상시킨다.

arXiv:2607.12358v2cs.CV

ACID: 비디오 생성을 위한 적응형 캐싱

ACID: Adaptive Caching for vIDeo generation

비디오 디퓨전 모델은 고품질 생성물을 만들지만, 순차적 디노이징 절차 때문에 추론이 여전히 느립니다. 캐싱 기반 가속 방법은 중간 모델 출력을 재사용하여 이 문제를 해결합니다. TeaCache, EasyCache, DiCache와 같은 주요 동적 접근법들은 drift 신호를 누적하고, 누적 drift가 고정 임계값 $τ$ 이하일 때 값비싼 모델 평가를 건너뜁니다. 이 임계값은 겉보기 tradeoff를 조절합니다. 임계값을 높이면 시각적 품질을 희생하고 더 빠른 생성이 가능해지며, 낮추면 품질은 유지되지만 속도가 희생됩니다. 우리는 이 tradeoff가 근본적인 것이 아님을 보입니다. 이는 디노이징 전 과정에서 $τ$를 일정하게 유지하는 데서 비롯된 인공적 현상입니다. 우리는 critical step, 즉 drift 신호가 급격히 변하는 타임스텝의 존재를 확인하고, 이러한 단계에서만 낮은 임계값을 선택적으로 적용하면서 다른 구간에서는 적극적으로 캐싱할 경우, 훨씬 높은 추론 속도에서 보수적 캐싱의 품질 대부분을 회복할 수 있음을 보입니다. 이 통찰을 바탕으로, 우리는 ACID를 제안합니다. ACID는 경량의 학습 없는(training-free) 래퍼로, 각 방법의 기존 drift 신호 변화율을 모니터링하여 낮은 임계값과 높은 임계값 사이를 동적으로 전환합니다. ACID는 신호에 무관(signal-agnostic)하고 모듈식입니다. 재학습이 필요 없으며, 핵심 메커니즘을 수정하지 않고 기존 동적 캐싱 방법에 바로 연결됩니다. TeaCache, EasyCache, DiCache 세 가지 캐싱 방법과 HunyuanVideo, Wan 2.1, CogVideoX 세 가지 오픈소스 비디오 디퓨전 모델에서 평가한 결과, ACID는 고정 임계값으로 달성할 수 있는 수준을 넘어 시각적 품질 대 추론 속도의 파레토 프론티어를 지속적으로 확장합니다. 특히 TeaCache와 HunyuanVideo에서 ACID는 캐싱 없음 기준선 대비 최대 2.16배 속도 향상을 달성하며, 보수적 고정 임계값 기준선 대비 최대 38% 추가 속도 향상을 달성하면서 품질 저하는 미미합니다(<0.3 dB PSNR, <0.01 SSIM, <0.01 LPIPS).

arXiv:2511.22098v2cs.CV

WorldWander: 비디오 생성에서 자아 중심·타인 중심 세계 연결

WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation

최근 비디오 월드 모델의 발전으로 자유 내비게이션이 가능한 대화형 환경이 구현되면서, 1인칭(자아 중심, egocentric)과 3인칭(타인 중심, exocentric) 시점 간 변환의 중요성이 점점 커지고 있다. 그러나 기존 연구는 단방향 타인 중심→자아 중심 변환에 초점을 맞춰, 참조 기반 타인 중심 시점 합성을 간과해 왔다. 이 능력은 게임과 체화 AI(embodied AI) 응용에서 매우 중요하다. 이에 영감을 받아, 우리는 비디오 생성에서 자아 중심 세계와 타인 중심 세계 간 변환을 위해 설계된 문맥 내 학습(ICL) 프레임워크 WorldWander를 제안한다. 고급 비디오 diffusion transformer를 기반으로, WorldWander는 (i) In-Context Perspective Alignment와 (ii) Collaborative Position Encoding을 통합하여 교차 시점 동기화와 캐릭터 일관성을 모델링한다. 이를 위해 우리는 합성 및 실세계 시나리오 모두에서 동기화된 자아 중심-타인 중심 triplet을 포함하는 동적이고 장면이 풍부한 데이터셋 EgoExo-8K를 구축했다. 실험 결과 WorldWander가 우수한 시점 동기화, 캐릭터 일관성 및 일반화를 달성하여, 자아 중심-타인 중심 비디오 변환의 새로운 벤치마크를 수립함을 보여준다.

arXiv:2607.13770v1cs.AR

Kaleido: 잠재 공간 상관관계를 활용한 비디오 확산 트랜스포머의 알고리즘-하드웨어 공동 설계

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

비디오 확산 트랜스포머(vDiT)는 고품질 비디오를 생성하지만, 긴 확산 타임스텝과 셀프 어텐션(self-attention) 연산으로 인해 매우 높은 연산 비용을 초래한다. 확산 타임스텝이 줄어들수록 셀프 어텐션의 연산 비용이 지배적인 병목이 된다. 기존 가속화 접근법은 대규모 언어 모델(LLM)의 희소 어텐션(sparse attention) 기법을 대부분 그대로 차용하여, 비디오 데이터의 고유한 시공간(spatiotemporal) 상관관계를 고려하지 못한다. 본 논문은 잠재 공간(latent space)의 채널별(channel-wise) 시공간 상관관계를 활용하여 vDiT의 모든 연산을 가속하는 알고리즘-하드웨어 공동 설계 Kaleido를 제안한다. 이 통찰에 기반하여, 부분 결과를 재사용함으로써 중복 연산을 건너뛰는 경량 채널별 재사용 알고리즘을 제안하며, 기존 방법보다 더 높은 생성 품질(>17 dB)을 유지한다. 이 알고리즘을 효율적으로 지원하기 위해, 재구성 가능한 처리 요소(processing element)와 경량 데이터 디스패처(data dispatcher)를 갖춘 systolic array 유형의 가속기를 설계하여, 재사용 알고리즘이 도입하는 불규칙한 희소성(sparsity)과 데이터 접근 패턴을 완화한다. 세 가지 주류 vDiT 모델에 대한 평가 결과, Kaleido는 최신(state-of-the-art) 가속기 대비 최대 5.9배 속도 향상과 16.0배 에너지 절감을 달성한다.

arXiv:2607.13031v1cs.LG

비디오 확산 모델의 직렬성 격차

The Seriality Gap in Video Diffusion Models

한 공이 다른 공에 충돌한 뒤 또 다른 공에 충돌할 때, 비디오 모델은 각 튕김의 결과를 예측해야 한다. 다중 공 경질 구체(hard-sphere) 역학에 대한 통제 실험에서, 표준 양방향 비디오 확산의 성능은 인과 연쇄가 길어질수록 저하되며, 디노이징(denoising) 단계를 더 부여해도 마찬가지이다. 공-공 상호작용이 없는 길이 일치 단일 공 대조군에서는 이러한 저하가 대부분 사라져, 원인이 비디오 길이가 아닌 의존적 사건 구조에 있음을 분리한다. 개입 연구 전반에서, 자기회귀(autoregressive) 및 블록 단위(blockwise) 생성과 아키텍처 깊이 등 유효 직렬 연산을 늘리는 방법이 성능 개선 효과가 특히 두드러진다. 우리는 이 패턴을 직렬성 격차(seriality gap)로 규명한다: 증가하는 직렬 연산을 요구하는 과제와, 디노이징 루프가 확장 가능한 직렬 연산을 제공하지 않는 비디오 확산 모델 사이의 불일치이다. 이어서 결정론적 비디오 예측에 대해 디노이징 단계가 백본(backbone)을 넘어 직렬 연산을 추가하지 않음을 증명하며, 이는 직렬 추론 및 시뮬레이션 과제에서 비디오 확산이 구조적 장애에 직면함을 나타낸다.