Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double
원문 초록
Vertigo Vertigo is a scene-for-scene AI reconstruction of Hitchcock's Vertigo (1958), generated from only 2.78% of the original film's frames. Using this sparse set of keyframe anchors, we perform first-last frame interpolation via a large video diffusion model to predict the intervening sequences. Vertigo is itself a film about the obsessive reconstruction of an artificial ideal; Vertigo Vertigo extends this logic to the material of the film, treating the canonical text as a probe for the normative conventions of classical cinema encoded within generative systems. Evaluated through computational analysis and critical feedback from media theorists (Lev Manovich, Shane Denson, Kevin L. Ferguson), the artifact demonstrates remarkable structural fidelity: 73.1% of frames are recognizable as plausible renditions of Vertigo and only 3.6% fail catastrophically. This fidelity suggests that cinematic norms are deeply compressed within the model's latent priors. Aesthetically, the reconstruction is rendered as an unstable overlay between the original film and its predictive shadow, fueling a persistent doubt in the viewer's perception of authenticity -- a 21st-century vertigo. The work argues that generative media is not a paradigm shift from cinema but an acceleration of its logic of desire and false authenticity, extending from classical Hollywood through to the predictive media environments now reshaping contemporary perception.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.00047v3제출 시각 미확인
- arXiv:2607.00047v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크
SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation
비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.
Fluid-Gen-Zero: 학습 없이 사전학습된 비디오 생성기를 물리 법칙에 그라운딩하기
Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training
본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.
Video DeltaNet: 라이브스트림 비디오 생성을 위한 비디오 네이티브 하이브리드 어텐션
Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation
비디오 확산 모델(video diffusion model)은 노이즈 제거(denoising) 과정에서 긴 시공간 토큰 시퀀스를 반복적으로 처리하므로, 어텐션이 주요한 계산 병목점이 됩니다. 선형 어텐션(linear attention)은 매력적인 대안을 제공하며 최근 대규모 언어 모델(LLM)에 널리 도입되었으나, 비디오 모델에 직접 적용할 경우 고품질 생성에 필요한 세밀한 상호작용을 보존하지 못하는 경우가 많습니다. 본 논문에서는 장거리 비디오 문맥을 위해 로컬 소프트맥스 어텐션과 양방향 선형 메모리를 결합한 Video DeltaNet(VDN)을 제시합니다. VDN의 선형 브랜치는 공간 토큰들을 함께 통합하여 프레임당 한 번 메모리를 업데이트하는 Video Delta Attention(VDA)을 도입합니다. 별도의 출력 투영(output projection)과 학습 가능한 게이트가 두 브랜치를 보정하며, 단계별 교사 정렬(teacher-alignment) 레시피를 통해 사전학습된 모델에 새로운 경로를 점진적으로 도입합니다. 저자들은 MiniMax H3에 VDN을 구현하여 텍스트나 오디오와 관련된 상호작용에는 소프트맥스를 유지하면서 비디오 간 상호작용에 하이브리드 방식을 적용했습니다. 8단계 지식 증류와 최적화된 SGLang 서빙 스택을 갖춘 VDN-H3은 8개의 NVIDIA B200 GPU에서 14.3초 길이의 768p 비디오에 대한 DiT 노이즈 제거를 6.70초 만에 완료하며, 이는 동일한 GPU 수에서 50단계 밀집 H3 기준선 대비 14.5배 속도 향상에 해당합니다. GitHub 코드는 https://github.com/OpenVDN/vdn-minimax-h3 에서 제공되며, 가중치는 https://huggingface.co/OpenVDN/vdn-minimax-h3 에서 제공됩니다.
스트리밍 비디오 확산 모델 재고찰: 컨텍스트, 실행, 학습
Rethinking Streaming Video Diffusion Model: Context, Execution, and Training
스트리밍 비디오 확산(diffusion)의 설계 공간을 이해하는 것은 생성 품질과 계산 효율성 측면에서의 잠재력을 탐구하는 데 필수적이다. 본 연구에서는 모델 및 샘플러 선택, 과거 이력 조건화(historical conditioning), 실행 스케줄링, 학습 전략을 서로 연관 짓는 통합 분석 프레임워크를 개발한다. 이 프레임워크는 광범위한 계열의 인과적(causal) 컨텍스트 선택 정책을 수용하며, 이들의 계산적 의존성과 학습-추론 정합성(training-inference alignment)을 명시적으로 드러낸다. 이 설계 공간 내에서 우리는 clean, same-level, progressive history라는 세 가지 대표적인 정책을 연구한다. 전체 VBench 프롬프트 세트에서 same-level history와 progressive history는 각각 85.24, 85.60의 종합 점수를 달성했으며, 이는 clean-history 기준선의 84.45와 비교된다. 장편 비디오 비교 실험에서는 progressive history가 피사체 일관성(subject consistency)을 향상시키고 더 일관된 움직임을 보여주었다. 여러 디노이징(denoising) 노드를 함께 처리할 수 있게 함으로써, progressive-history 파이프라이닝은 우리가 평가한 조건에서 정상 상태(steady-state) DiT 기준 1.57배에서 2.83배의 속도 향상을 달성했다. 또한 DMD fake-score 네트워크에 대한 LoRA 적응(adaptation)이 전체 매개변수(parameter) 적응 대비 단 2.15%의 학습 가능한 fake-score 매개변수만으로도 생성 품질을 향상시킨다는 것을 발견했다. 이러한 결과들은 완전히 디노이징된 이력(history)이 고품질 스트리밍 생성의 필수 조건이 아님을 보여주며, 과거 이력 조건화, 실행, 학습을 공동으로 설계할 필요성을 시사한다.
쉬운 적응을 통한 스트리밍 비디오 편집
Streaming Video Editing with Easy Adaptation
본 논문에서는 사전학습된 양방향 비디오 확산 모델(bidirectional video diffusion model)에 대한 학습만으로 자기회귀(auto-regressive) 방식의 고품질 스트리밍 비디오 편집을 지원하는 프레임워크인 SVEET를 제안한다. 이 문제를 해결하기 위해, 먼저 기존의 비디오-투-비디오 확산 접근법들을 체계적으로 재검토하고, 이러한 스트리밍 적응을 위한 두 가지 핵심 원칙, 즉 백본 특징 분리(backbone feature disentanglement)와 조건부 프레임 독립성(conditional frame independence)을 규명한다. 이러한 통찰을 바탕으로, 제어 가능한 비디오 생성을 위한 새로운 패러다임을 개발한다. 그 핵심에는 시간적으로 독립적인 셀프 어텐션으로 소스 비디오 입력을 인코딩하는 보조 모델 분기(auxiliary model branch)가 있으며, 중간 특징들은 스트리밍 호환 제어를 위해 해당 백본 블록에 주입된다. 또한, 양방향 모델과 스트리밍 모델의 특징 공간 간 불일치를 해소하기 위해, 비디오 제어 가능성과 모델 인과성(causality)의 최적화 방향 간 직교성을 명시적으로 강제하는 분리 학습(decoupled training) 기법을 제안한다. 이러한 분리는 추론 시 두 목표 간의 호환성을 보장하고, 이질적인 백본 아키텍처 간의 원활한 제로샷 지식 전이를 촉진한다. 광범위한 실험을 통해 SVEET가 실시간 성능을 유지하면서도 우수한 편집 품질을 달성함을 입증하였으며, 어떠한 보조 가속 기법 없이도 단일 H100 GPU 17에서 15 FPS를 달성하였다. 코드는 https://github.com/YujiaHu1109/SVEET 에서 확인할 수 있다.
AgentHOI: 암시적 표현 정렬을 통한 인간-객체 상호작용 비디오 생성을 위한 멀티 에이전트 추론
AgentHOI: Multi-Agent Reasoning for Human-Object-Interaction Video Generation via Implicit Representation Alignment
최근 비디오 확산 모델의 발전으로 단일 피사체 애니메이션을 넘어 상호작용 논리에 대한 세밀한 제어를 요구하는 인간-객체 상호작용(HOI) 비디오 생성에 대한 관심이 높아지고 있다. 그러나 기존 HOI 방법은 명시적 모션 제어에 크게 의존하여, 다양한 객체와 상호작용에 대한 확장성과 일반화를 제한한다. 본 연구에서는 AgentHOI를 제안한다. 이는 생성 전 사고(thinking-before-generation) 프레임워크를 따르는 텍스트 기반 HOI 비디오 생성 방법으로, 지각, 상호작용, 모션 계획에 걸친 멀티 에이전트 추론을 통해 고수준 텍스트 의도와 물리적 실행 사이의 간극을 메운다. 생성된 상호작용 계획을 바탕으로 텍스트 기반 모션 이해를 더욱 강화한다. 암시적 텍스트-모션 정렬 전략을 도입하여 텍스트-모션 사전 지식을 비디오 확산 모델에 지식 증류함으로써, 추론 시 명시적 모션 입력 없이도 견고한 HOI 합성을 가능하게 한다. 실험 결과, AgentHOI는 착용 및 탑승과 같은 도전적인 객체 중심 시나리오에서 상호작용 자연스러움, 객체 외형 보존, 복잡한 텍스트 지시 준수를 크게 향상시킨다. 코드는 https://github.com/bone-11/agenthoi 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.