인간의 정체성을 보존하는 텍스트-투-비디오(text-to-video) 생성은 시점, 표정, 조명, 움직임의 큰 변화 상황에서 여전히 어려운 과제로 남아 있다. 기존 방법들은 생성기를 단일 참조 인물 사진(portrait)에 조건화하지만, 정적 이미지는 시점과 표정 변화에 따라 정체성을 나타내는 단서(cue)가 어떻게 변화하는지 포착할 수 없어 얼굴 변형, 포즈 고정(pose locking), 정체성 드리프트(identity drift), 또는 과도하게 매끄러워진 얼굴로 이어진다. 우리는 짧은 참조 클립이 단일 이미지보다 더 풍부한 시간적·다중 시점 정체성 단서를 자연스럽게 제공한다는 점을 관찰하였으며, 이는 비디오 참조 기반 정식화(video-referential formulation)의 동기가 된다. 그러나 이러한 더 풍부한 신호는 새로운 과제를 야기한다: 정체성 증거가 여러 프레임에 걸쳐 분산되어 있으며, 제한된 토큰 예산 하에서 이를 압축되고 안정적인 표현으로 증류(distill)해야 한다는 것이다. 이를 위해 우리는 고정된(frozen) 텍스트-투-비디오 백본 위에 구축된 경량 정체성 조건화 프레임워크인 Slot-ID를 제안한다. Slot-ID는 싱크혼(Sinkhorn) 라우팅 기반의 반복적 읽기(iterative reading)를 사용하는 슬롯 기반 시간적 정체성 인코더를 통해 참조 클립으로부터 압축되고 안정적인 정체성 토큰(token) 집합을 증류하며, 이는 이중 소스 조건화를 위한 이미지 앵커 스트림(image-anchor stream)으로 보완된다. 광범위한 실험을 통해 Slot-ID가 정체성 보존과 시각적 자연스러움 측면에서 최신(state-of-the-art) 방법들을 능가하는 동시에 프롬프트(prompt) 추종 성능에서도 경쟁력을 유지하며, 특히 까다로운 포즈, 표정, 움직임 변화 상황에서 큰 성능 향상을 보인다는 것을 입증한다.
최근 비디오 생성 모델은 텍스트 설명이나 카메라 궤적에 의해 부과되는 외부 카메라 제어를 더 잘 따르도록 발전하고 있지만, 진정으로 독창적이고 예술적인 영상을 만드는 데 중요한 비전통적 카메라 움직임으로 일반화하는 데는 여전히 어려움을 겪는다. 그 도전 과제는 의도한 드문 카메라 움직임을 담은 충분한 학습용 영상을 확보하는 데 있다. 이를 위해 우리는 VividCam을 제안한다. VividCam은 확산(diffusion) 모델이 합성 영상으로부터 복잡한 카메라 움직임을 학습할 수 있게 하는 학습 패러다임으로, 현실적인 학습용 영상 수집에 대한 의존을 줄인다. VividCam은 여러 분리(disentanglement) 전략을 포함하여 카메라 움직임 학습을 합성 외관 아티팩트로부터 분리하고, 더 견고한 움직임 표현을 보장하며 도메인 시프트(domain shift)를 완화한다. 우리는 제안 설계가 놀랍도록 단순한 합성 데이터만으로도 넓은 범위의 정밀하게 제어된 카메라 움직임을 합성할 수 있음을 보인다. 특히 이러한 합성 데이터는 종종 low-poly 3D 씬 내 기본 기하 형상으로 구성되며 Unity와 같은 엔진으로 효율적으로 렌더링할 수 있다. 영상 결과는 https://wuqiuche.github.io/VividCamDemoPage/ 에서 확인할 수 있다.
Collecting real-world vehicle accident videos for autonomous driving research is challenging due to their rarity and complexity. While existing driving video generation methods may produce visually realistic videos, they often fail to deliver physically realistic simulations because they lack the capability to generate accurate post-collision trajectories. In this paper, we introduce AccidentSim, a novel framework that generates physically realistic vehicle collision videos by extracting and utilizing the physical clues and contextual information available in real-world vehicle accident reports. Specifically, AccidentSim leverages a reliable physical simulator to replicate post-collision vehicle trajectories from the physical and contextual information in the accident reports and to build a vehicle collision trajectory dataset. This dataset is then used to fine-tune a language model, enabling it to respond to user prompts and predict physically consistent post-collision trajectories across various driving scenarios based on user descriptions. Finally, we employ Neural Radiance Fields (NeRF) to render high-quality backgrounds, merging them with the foreground vehicles that exhibit physically realistic trajectories to generate vehicle collision videos. Experimental results demonstrate that the videos produced by AccidentSim excel in both visual and physical authenticity.
주체 기반 비디오 생성(SDV-Gen)은 사전학습된 비디오 모델을 적응시켜 특정 주체의 비디오를 생성하는 것을 목표로 하며, 개인화 및 응용 중심 콘텐츠 제작을 가능하게 한다. 이 목표를 달성하기 위해 주체별 튜닝 방법은 맞춤형 비디오 생성에 약 200 A100 GPU 시간이 필요한 반면, 제로샷 방법은 주체별 튜닝을 피하지만 일반적으로 감독을 위해 수백만 개의 주체-비디오 쌍에 의존하여 대규모 네트워크 미세조정 비용(10K–200K A100 GPU 시간)이 발생한다. 우리는 테스트 시점 주체별 튜닝과 대규모 주체-비디오 쌍 사용을 모두 피하는 데이터 및 연산 효율적인 제로샷 SDV-Gen 프레임워크를 제안한다. 핵심 아이디어는 SDV-Gen을 (i) 주체-이미지 쌍에서 학습한 정체성 주입(identity injection)과 (ii) 소규모 임의 비디오 집합으로 유지하는 동작 인식(motion-awareness) 보존으로 분해하는 것이다. 두 과제는 확률적 전환(stochastic switching)으로 최적화하며, 사소한 첫 프레임 복사를 방지하기 위해 무작위 참조 프레임 샘플링과 이미지 토큰 드롭아웃을 사용한다. 그래디언트 분석은 두 목적함수가 거의 직교하는 갱신 부분공간을 향해 빠르게 수렴하여 안정적인 최적화를 설명함을 보여준다. CogVideoX-5B를 사용하여 200K 주체-이미지 쌍과 4,000개의 임의 비디오로 단일 모델을 288 A100 GPU 시간에 적응시킨다. 이는 주체-비디오 쌍을 사용하지 않으면서도 선행 제로샷 기준선 대비 약 1%의 연산량(즉 VACE의 0.4%, Phantom의 2.8%)을 달성하고, 주체 충실도(subject fidelity)와 동작 품질에서 경쟁력을 유지한다. 동일한 방법이 Wan 2.1-1.3B 및 Wan 2.2-5B로도 전이됨을 보인다.
제어 가능한 비디오 생성은 텍스트 프롬프트나 주로 픽셀 움직임을 제약하는 모션 제어 입력으로 정밀한 다중 객체 상호작용을 지정하기 어렵기 때문에 여전히 도전적인 과제이다. 실제로 궤적 기반 제어는 사용자가 여러 객체에 대한 정확한 궤적을 그려야 하는 경우가 많으며, 이는 장면 복잡도에 따라 확장성이 떨어지고 가림(occlusion)이나 겹침(overlap) 상황에서 모호해진다. 유연하면서도 정밀한 다중 주체 제어를 가능하게 하기 위해, 구조화된 상호작용 그래프를 통한 대화형 제어를 지원하는 그래프 조건 이미지-투-비디오 생성 모델 GraphVid를 제안한다. 또한 상호작용 인식 비디오 생성 모델의 학습을 가능하게 하기 위해 구조화된 관계 주석이 포함된 대규모 상호작용 중심 비디오 데이터셋 GraphVid-Bench를 구축한다. 이전 모션 제어 방법들보다 훨씬 적은 학습 데이터와 더 적은 학습 가능 파라미터를 사용함에도 GraphVid는 강력한 제어 가능성과 비디오 품질을 제공한다. Motion-I2V와 비교하면 GraphVid는 FID를 최대 39.9%, FVD를 37.6% 낮추면서 PSNR(9.87=>15.98)과 SSIM(0.38=>0.61)을 개선한다. 우리 결과는 구조화된 의미론적 인터페이스가 제어 가능한 비디오 생성을 위한 강력한 패러다임이 될 수 있는 잠재력을 보여준다.
정적 장면에서 기하 변형과 가림(occlusion) 불일치 아티팩트를 공동으로 탐지하는 기하 기반(geometry-grounded) 지표 GeCo를 제안한다. 잔차 움직임과 깊이 사전지식(priors)을 융합하면 GeCo는 이러한 아티팩트를 드러내는 해석 가능한 밀집(dense) 일관성 맵을 생성한다. GeCo를 사용해 최근 비디오 생성 모델을 체계적으로 벤치마크하고 공통 실패 모드를 밝혀 내며, 또한 비디오 생성 중 변형 아티팩트를 줄이기 위한 학습 없는(training-free) 가이던스 손실로도 활용한다.
Recent embodied intelligence suffers from data scarcity, while conventional simulators lack visual realism. Controllable video generation is emerging as a promising data engine, yet current action-conditioned methods still fall short: generated videos are limited in fidelity and temporal consistency, poorly aligned with controls, and often constrained to singleview settings. We attribute these issues to the representational gap between sparse control inputs and dense pixel outputs. Thus, we introduce ORV, a 4D occupancy-centric framework for robot video generation that couples action priors with occupancy-derived visual priors. Concretely, we align chunked 7-DoF actions with video latents via an Action-Expert AdaLN modulation, and inject 2D renderings of 4D semantic occupancy into the generation process as soft guidance. Meanwhile, a central obstacle is the lack of occupancy data for embodied scenarios; we therefore curate ORV-Data, a large-scale, high-quality 4D semantic occupancy dataset of robot manipulation. Across BridgeV2, DROID, and RT-1, ORV improves video generation quality and controllability, achieving 18.8% lower FVD than state of the art, +3.5% success rate on visual planning, and +6.4% success rate on policy learning. Beyond singleview generation, ORV natively supports multiview consistent synthesis and enables simulation-to-real transfer despite significant domain gaps. Code, models, and data are at: https://orangesodahub.github.io/ORV
디노이징 확산 확률 모델(DDPM)은 고차원 데이터 분포로부터 합성 데이터를 생성하는 강력한 최첨단 기법으로, 이미지, 오디오, 비디오 생성뿐만 아니라 과학 및 다양한 분야의 수많은 응용 분야에서 널리 활용되고 있습니다. 다양체 가설(manifold hypothesis)은 고차원 데이터가 주변 공간(ambient space) 내의 저차원 다양체에 존재하는 경우가 많다는 이론이며, 제시된 사례들에서 널리 성립하는 것으로 여겨집니다. 최근 연구 결과들이 디퓨전 모델이 다양체 가설에 어떻게 적응하는지에 대한 귀중한 통찰을 제공했지만, 이러한 모델들의 뛰어난 실증적 성공을 온전히 포착하지는 못하고 있어 매우 유망한 연구 방향으로 남아 있습니다. 본 연구에서는 다양체 가설 하에서 DDPM을 연구하며, 스코어 학습(score learning) 측면에서 주변 차원과 무관한 수렴 속도를 달성함을 증명합니다. 샘플링 복잡도 측면에서는 바서슈타인 거리(Wasserstein distance)에 대해 주변 차원과 무관한 속도를 도출합니다. 이는 디퓨전 모델을 잘 정립된 가우스 과정(Gaussian Process)의 극값 이론과 연결하는 새로운 프레임워크를 개발함으로써 달성됩니다.
최근 비디오 확산 모델의 발전으로 시각적 충실도가 크게 향상되었지만, 생성된 동작은 종종 물리적 타당성을 위반한다. 우리는 흔한 운동학적 실패인 "motion entanglement(모션 얽힘)", 즉 카메라 움직임과 객체 동작과 같은 독립적인 동작 원천의 의도치 않은 결합을 관찰한다. 이 문제가 데이터 바이어스와 확산 모델의 재구성 기반 학습 설계에서 기인함을 확인했다. 거친 동작 단서를 여전히 보존하는 노이즈가 있는 비디오에 대한 학습은, 운동학적으로 타당한 동작을 모델링하는 방법을 배울 유인 없이 기존 동작을 복제하도록 우발적으로 유도한다. 이를 해결하기 위해, 우리는 모델이 실제 비디오를 직접 재구성하는 대신 자신이 생성한 비디오로부터 학습할 수 있게 하는 Self-Imagination Fine-Tuning(SIFT) 패러다임을 제안하여 재구성 지름길을 끊는다. 또한 학습을 안정화하고 가속하기 위해 동작 인식 판별적 감독과 점진적 어려운 사례 재생 전략을 사용한다. 자유롭게 생성된 텍스트 프롬프트를 활용함으로써, 우리 방법은 비디오 데이터로 수집하기 비용이 많이 드는 희귀하거나 세밀하게 분리된 시나리오를 포함해 넓은 동작 공간을 조밀하게 포괄할 수 있다. 광범위한 실험을 통해 우리 접근법이 생성 비디오의 물리적 현실감, 모션 분리, 제어 가능성을 상당히 개선함을 보여준다.
비디오 월드 모델은 단일 명령어로부터 사실적인 미래를 생성할 수 있지만, 시간에 걸쳐 동일한 물리적 점을 일관되게 추적하는 데 종종 실패합니다. 그 결과 생성된 비디오는 그럴듯하게 보이지만, 로봇 조작과 같은 신뢰할 수 있는 행동 실행에 필요한 물리적 그라운딩이 부족합니다. 우리는 이 한계를 해결하는 기하학적 기반 비디오 월드 모델인 GEM-4D를 제안합니다. GEM-4D는 학습 중 사전학습된 기하학 파운데이션 모델로부터 증류된 밀집 4D 대응 감독(supervision)을 비디오 생성 백본에 주입합니다. 이 감독을 통해 모델은 외관과 기하학적 구조를 공동으로 포착하는 동시에 추론 비용이 추가되지 않는 단일 스트림 아키텍처를 유지합니다. 또한 우리는 대응 일관성 있는 비디오 롤아웃을 실행 가능한 로봇 궤적으로 변환하는 역방향 다이나믹스 모듈을 도입하여, 실세계 및 시뮬레이션 조작 모두에서 직접 배포를 가능하게 합니다. GEM-4D는 시뮬레이션과 실제 시나리오 모두에서 비디오 예측 및 기하학적 일관성 면에서 최첨단 성능을 달성하며, 실세계 조작 성공률을 61%에서 81%로 향상시킵니다. 추가 결과는 https://gem-4d.github.io/ 에서 확인할 수 있습니다.
뷰 조건부(view-conditioned) 3D 생성기인 SAM 3D, TRELLIS, Hunyuan3D 등은 단일 뷰로부터 고품질 객체 재구성을 생성하지만, 실제 세계의 시각 관측은 종종 긴 단안(monocular) 스트림 형태로 들어온다. 이러한 생성기를 스트리밍 프레임마다 독립적으로 단순 적용하면 생성 결과에서 심각한 시간적 불일치가 발생한다. 이 문제를 해결하기 위해 우리는 Stream3D를 제안한다. Stream3D는 고정(frozen)된 뷰 조건부 3D 생성기를 일정한 cross-chunk 메모리를 갖는 스트리밍 생성기로 전환하는 최초의 학습 없는(training-free) 스트리밍 메커니즘이다. Stream3D는 제안된 evidence score 메커니즘을 기반으로 가장 정보가 풍부한 과거 프레임을 선택적으로 캐시하는 간결한 증거적 메모리(evidential memory)를 유지함으로써 이를 달성한다. 스트림이 진행됨에 따라 메모리는 정보가 풍부한 프레임의 고정 개수를 유지하도록 동적으로 갱신되어, 메모리 사용량이 시퀀스 길이에 비례해 선형적으로 증가하는 것을 방지한다. 이는 또한 긴 시퀀스에서의 성능 저하를 방지하며, 재학습, 아키텍처 수정, 또는 보조 손실 없이 기저 생성기를 완전히 변경하지 않은 상태로 유지한다. 현실적 및 합성 스트리밍 벤치마크에서 평가한 결과, Stream3D는 KV-cache 재사용 및 flow 기반 특징 편집을 포함한 latent-transport 기준선들보다 광학(photometric) 및 기하(geometric) 지표 모두에서 우수한 성능을 보였다. 자세한 내용은 https://stream-3d.github.io/stream3d.github.io/ 에서 확인할 수 있다.
사전학습된 diffusion 모델에 대한 테스트 시간 튜닝(TTT)은 비디오 편집을 위한 강력한 패러다임으로 부상했다. 그러나 생성 모델의 분포 매핑 특성과 표준 TTT의 단일 점 최적화 사이에는 근본적인 불일치가 존재한다. 본 논문에서는 이러한 불일치가 Prior Collapse(사전 붕괴)를 유발함을 보인다. 이는 모델이 텍스트 조건과 공간 잠재 변수를 버리고, 생성 결과를 소스 비디오로 붕괴시키거나 서로 다른 영역의 특징을 얽어버리는 퇴화 상태이다. 이를 해결하기 위해, 사전 생성 분포를 보존하고 생성 탄성(generative elasticity)을 회복하는 새로운 프레임워크인 ElasticTTT를 제안한다. 구체적으로, 급격한 암기 최소점을 방지하기 위한 Target Distribution Regularization(목표 분포 정규화), 소스 편향에서 추론을 유도하기 위한 Contrastive CFG, 그리고 편집되지 않은 영역을 보존하기 위한 Asynchronous Noise Schedule(비동기 노이즈 스케줄)을 제안한다. 이론적 분석이 뒷받침하는 광범위한 평가를 통해, ElasticTTT가 베이스 모델의 생성 사전을 성공적으로 보존하며 원샷(one-shot) 비디오 편집에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.
텍스트 기반 이미지-비디오(I2V) 생성 모델이 개인 이미지를 무단으로 애니메이션화하는 문제를 막기 위해, Anti-Prompt는 I2V 모델의 텍스트 의존성을 역이용해 디노이징 과정에서 텍스트 조건부 상호작용을 약화시키고 시각 전용 경로를 강화하는 감지 불가능한 섭동(perturbation)을 이미지에 주입한다. 두 가지 대표적인 I2V 아키텍처(full-attention, cross-attention)에서 강력한 보호 성능과 높은 전이성을 검증하였으며, Video-LLM 기반 평가 프로토콜을 통해 생성 실패를 체계적으로 진단한다.
딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.
온-정책 증류(on-policy distillation, OPD)는 현재 student가 생성한 궤적을 따라 teacher를 질의함으로써 확산 모델을 적응시키지만, 현대 확산 시스템의 기본 구성 요소인 classifier-free guidance(CFG) 하에서 어떻게 동작해야 하는지는 여전히 잘 이해되지 않았다. 기존 OPD 방법은 속도 매칭(velocity matching)을 CFG로 합성된 예측에 자연스럽게 확장하여, teacher와 student의 guided velocity를 직접 일치시킨다. 우리는 이 목적 함수가 분기(branch) 수준에서 식별 불가(under-identified)임을 보인다. positive 분기와 negative 분기의 오류가 guided prediction에서 서로 상쇄될 수 있다. 두 대조적인 사례를 통해, naive matching이 공유 negative conditioning 하에서는 여전히 효과적이며, 두 분기 오류가 함께 감소함을 발견한다. 그러나 모델의 기본 CFG 스키마가 teacher의 negative 분기에 student가 접근할 수 없는 특권 정보(privileged information)를 유지하는 경우, 이러한 공동 감소는 붕괴되고, 합성된 목적 함수는 적대적인 분기-오류 역학을 유발하여 positive 분기 오류는 줄이면서 negative 분기 오류는 증가시킨다. 우리는 이러한 실패 모드를 Negative Branch Asymmetry(NBA)라고 부른다. NBA를 해결하기 위해, positive 예측과 CFG 조건부 방향을 각각 제약하는 분기 인식(branch-aware) OPD 목적 함수인 Positive-Direction Matching(PDM)을 제안한다. PDM을 dense-to-sparse 비디오 제어에 적용한다. 여기서 naive guided matching은 추론 guidance scale에 매우 민감한 반면, 분기 인식 supervision은 더 견고하고 효과적인 지식 전달을 가능하게 한다.
테스트 시점 검색은 소형 비디오 확산 모델이 더 큰 모델과 대등한 성능을 낼 수 있게 하지만, 비용은 2~10배 더 든다. 모든 후보는 완전히 디노이징되지만, 대부분은 폐기된다. 학습 없는 캐싱은 거의 무손실 품질로 각 롤아웃을 2~3배 빠르게 만든다. 손실성 캐싱이 검증기(verifier) 순위를 보존할 때만 결합이 안전하다. 우리는 비디오 테스트 시점 검색에서 캐싱이 후보 순위를 손상시키는지에 대한 최초의 연구를 제시한다. 적응형 캐싱 래퍼(후보당 약 2배 속도 향상)를 적용한 Wan2.1-T2V-1.3B에서 ImageReward가 시드가 일치하는 캐시 롤아웃과 전체 롤아웃을 채점한다. 프롬프트당 Spearman 순위 상관계수의 중앙값은 0.905이며, VBench 스위트에서 top-1 일치율은 72%이다. VBench-2.0은 더 어려운 스위트에서 이 결과를 재현한다. 캐시된 우승 후보를 전체 연산으로 재계산하면 전체 검색 이득의 90~94%를 유지한다. 오류는 거의 동점인 후보들 사이에 집중되어, 손상이 스스로 제한된다. 이 발견은 CachedSearch로 이어진다. CachedSearch는 공격적인 캐싱으로 모든 후보를 탐험한 뒤, 우승 후보만 전체 연산으로 재생성한다. N=8에서 비용의 63%로 best-of-N 이득의 94.7%를 포착한다. 포착률은 폭(width)이 커질수록 증가한다. 동일 예산에서는 38% 더 많은 이득을 위해 두 배 넓게 검색한다. 이 결과는 Wan, LTX, CogVideoX, Hunyuan의 4개 계열, 6개 모델에 걸쳐 1.3B~14B에서 성립한다. Wan2.1-14B는 1.3B 모델의 충실도와 일치한다. 중간 궤적 가지치기는 88.6% 포착률에서 탐험 절감을 3.11배로 증폭한다. 다른 모델 계열로 이식하려면 단일 매개변수 재보정만 필요하며, 이는 충실도가 매개변수 수보다 아키텍처를 따른다는 것을 보여준다. CachedSearch는 학습 없이, 검증기에 무관하며, 검색 알고리즘과 직교(orthogonal)하여 테스트 시점 스케일링을 위한 플러그인 배율기가 된다.
최근 비디오 확산 모델의 발전으로 단일 피사체 애니메이션을 넘어 상호작용 논리에 대한 세밀한 제어를 요구하는 인간-객체 상호작용(HOI) 비디오 생성에 대한 관심이 높아지고 있다. 그러나 기존 HOI 방법은 명시적 모션 제어에 크게 의존하여, 다양한 객체와 상호작용에 대한 확장성과 일반화를 제한한다. 본 연구에서는 AgentHOI를 제안한다. 이는 생성 전 사고(thinking-before-generation) 프레임워크를 따르는 텍스트 기반 HOI 비디오 생성 방법으로, 지각, 상호작용, 모션 계획에 걸친 멀티 에이전트 추론을 통해 고수준 텍스트 의도와 물리적 실행 사이의 간극을 메운다. 생성된 상호작용 계획을 바탕으로 텍스트 기반 모션 이해를 더욱 강화한다. 암시적 텍스트-모션 정렬 전략을 도입하여 텍스트-모션 사전 지식을 비디오 확산 모델에 지식 증류함으로써, 추론 시 명시적 모션 입력 없이도 견고한 HOI 합성을 가능하게 한다. 실험 결과, AgentHOI는 착용 및 탑승과 같은 도전적인 객체 중심 시나리오에서 상호작용 자연스러움, 객체 외형 보존, 복잡한 텍스트 지시 준수를 크게 향상시킨다. 코드는 https://github.com/bone-11/agenthoi 에서 제공된다.
우리는 Generative Relightable Avatars(GRA)를 제안한다. GRA는 전신 인간의 사실적인 자유 시점 렌더링과 환경 맵(environment map) 재조명을 위한 인물 특화(person-specific) 방법이다. 우리는 세밀한 외관 세부 사항을 모델링하는 것이 본질적으로 일대다(one-to-many) 문제이며 생성적 공식화의 이점을 받을 수 있다고 가정한다. 완전 회귀적 재조명 가능 아바타 방법과 달리, GRA는 제어 가능하고 물리 기반(physics-grounded) 재조명과 확률적 정제를 결합하는 하이브리드 접근을 따른다. 추적된 애니메이션 메시에서 출발하여 UV 공간에서 재질(material) 파라미터를 최적화하고, 목표 HDR 환경 맵 하에서 거친 재조명 외관을 렌더링한다. 다음으로, 피드포워드(feed-forward) 모델로 텍스처를 정제하여 단순화된 반사(reflectance) 가정을 넘어서는 자세 의존적 텍스처 역학과 조명 효과를 포착한다. 마지막으로, 파인튜닝된 video-to-video 확산(diffusion) 모델이 물리 기반 렌더링을 3D 제어를 유지하면서 시간적으로 일관된 고해상도 비디오로 변환하며, 긴 비디오 생성을 위한 오류 재활용(error-recycling) 전략을 사용한다. 실험 평가는 기존 재조명 가능 아바타 베이스라인 대비 우리 방법의 향상된 지각적(perceptual) 품질을 보여준다. Project Page: https://vcai.mpi-inf.mpg.de/projects/GRA/
비디오 생성의 발전은 AI 생성 영상과 전문가 제작 영상 간의 시각적 격차를 계속 좁히고 있지만, 대부분의 벤치마크는 여전히 웹 소스나 LLM 템플릿에서 프롬프트를 뽑고, 학습되지 않은 범용 멀티모달 모델로 채점한다. 더 근본적으로, 이들의 평가 분류체계는 영화가 실제로 제작되고 평가되는 전문적인 시네마틱 언어(Cinematic Language) 기준보다는 전반적 시각 품질, 거친 텍스트 정렬, 시간적 매끄러움 등 기초적인 수준에 머물러 있어, 영화급 연출 기술이 아니라 기본적인 비디오 타당성만을 평가한다. 우리는 영화 아카데미 전통의 전문 시네마틱 언어에 기반하고, 베이징 영화학원과 후징 디지털 미디어 & 엔터테인먼트 그룹 영화 스튜디오의 감독 및 교수진과 공동 개발한 텍스트-투-비디오(T2V) 및 레퍼런스-투-비디오(R2V) 벤치마크인 FilmBench를 소개한다. 이는 세 가지 선택에 기반한다. 첫째, 프롬프트는 20개 영화 장르에 걸친 수상작 영화 클립에서 역공학(reverse-engineered)되며 전문 감독이 선정하여, 모든 프롬프트가 검증된 실사 레퍼런스에 고정된다. 프롬프트는 실제 샷 리스트를 따르며, 대부분 여러 샷을 구성한다(1,169개 프롬프트 중 1,056개가 멀티샷). 이는 이전의 단일 클립 벤치마크와 다르다. 둘째, 평가는 3개 축, 12개 구성요소, 35개(T2V) + 3개(R2V 전용) 하위 지표로 이루어진 3단계 시네마틱 분류체계를 따른다. 셋째, 우리는 사내 전문가급 자동 평가 에이전트를 개발하고, 시네마틱 언어 연산자(FilmOps) 핵심 스위트를 오픈소스로 공개한다. 선도적인 비디오 생성 모델(T2V 9개, R2V 7개)을 벤치마킹한 결과, 평가기는 모델 수준에서 인간 모델 순위를 Spearman ρ = 0.95(T2V) 및 0.96(R2V)로 재현한다. 점수는 기존 웹 스타일 벤치마크보다 훨씬 낮으며, 동적 미학에서 두 가지 일관된 격차와 단일샷에서 멀티샷으로의 현저한 성능 하락이 나타나는데, 이는 약한 모델일수록 더 커진다.
프로덕션 준비형(production-ready) 오디오 기반 아바타 생성은 충실도나 모션 표현력을 희생하지 않으면서 효율적인 추론을 요구한다. 그러나 기존 가속 방법은 인과적 어텐션(causal attention)이나 짧은 시간적 지평(short temporal horizons)과 같은 제한적인 아키텍처 선택을 통해, 또는 모델 용량과 해상도를 줄이는 방식으로 종종 품질을 타협한다. 이러한 타협 없이, 우리는 빠르고 표현력 있는 추론을 제공하는 140억 매개변수(14B-parameter) 장편 오디오 기반 아바타 생성 프레임워크인 AptAvatar를 제안한다. 프로덕션 수준 애플리케이션에서의 효율성을 위해 AptAvatar는 극단적인 2단계 생성 과제를 다룬다. 다단계 교사 모델과 2단계 학생 모델 사이의 격차를 줄이기 위해, 우리는 Endpoint-Anchored Distribution Distillation(끝점 고정 분포 증류)을 도입한다. 이는 고정된 사전학습 4단계 브리지 생성기로부터 정의된 궤적 끝점(trajectory-endpoint) 분포에서 학습된 전용 Anchor Score Estimator(앵커 점수 추정기)를 통해 기본 분포 매칭을 보강한다. 이는 진화하는 2단계 학생 모델을 위한 달성 가능한 끝점 수준의 앵커를 제공한다. 장기 일관성을 개선하기 위해, 우리는 청크 단위(chunk-wise) 학습 동안 이전 생성기 체크포인트의 캐시된 출력을 이력 조건(history conditions)으로 재사용하는 Self-Generated History Replay(자체 생성 이력 재생)를 추가로 도입한다. 이는 비용이 큰 온라인 롤아웃(online rollouts) 없이 추론 시점의 자체 생성 이력에 대한 조건화를 근사하여, 누적된 이력 오류로 인한 품질 저하를 완화한다. 광범위한 실험은 AptAvatar가 단 2 NFE(Number of Function Evaluations)로 생생한 720p 장편 아바타 비디오를 생성하며, 시각적 충실도와 장기 정체성(long-horizon identity)을 유지하면서 60배 속도 향상을 달성함을 보여준다. 코드는 https://github.com/TaoLiveAIGC/AptAvatar 에서 제공된다.