Training-free Camera Control for Video Generation
원문 초록
We propose a training-free and robust solution to offer camera movement control for off-the-shelf video diffusion models. Unlike previous work, our method does not require any supervised finetuning on camera-annotated datasets or self-supervised training via data augmentation. Instead, it can be plugged and played with most pretrained video diffusion models and generate camera controllable videos with a single image or text prompt as input. The inspiration of our work comes from the layout prior that intermediate latents hold towards generated results, thus rearranging noisy pixels in them will make output content reallocated as well. As camera move could also be seen as a kind of pixel rearrangement caused by perspective change, videos could be reorganized following specific camera motion if their noisy latents change accordingly. Established on this, we propose our method CamTrol, which enables robust camera control for video diffusion models. It is achieved by a two-stage process. First, we model image layout rearrangement through explicit camera movement in 3D point cloud space. Second, we generate videos with camera motion using layout prior of noisy latents formed by a series of rearranged images. Extensive experiments have demonstrated the robustness our method holds in controlling camera motion of generated videos. Furthermore, we show that our method can produce impressive results in generating 3D rotation videos with dynamic content. Project page at https://lifedecoder.github.io/CamTrol/.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
합성 상태 전이를 활용한 비디오 상호작용 생성 부트스트래핑
Bootstrapping Video Interaction Generation with Synthetic State Transitions
최근의 비디오 생성 모델은 고화질 비디오를 합성할 수 있지만, 타당한 물리적 상호작용과 그로 인한 상태 전이(state transition)를 묘사하는 데 어려움을 겪고 있으며, 이는 로보틱스 및 VR/AR 응용 분야에서 중대한 병목 현상입니다. 이를 해결하기 위해, 본 연구에서는 제어 가능한 상호작용의 확장 가능한 합성 데이터셋을 생성하는 프레임워크를 소개합니다. 제안하는 파이프라인은 구조화된 분류 체계(taxonomy)와 최신 이미지 편집 모델을 활용하여 상호작용의 시각적 앵커(visual anchor) 역할을 하는 명시적인 '시작' 및 '종료' 상태 이미지를 생성합니다. 이러한 앵커를 활용해 매끄러운 비디오를 생성하기 위해, 단순한 조건부 생성에서 흔히 발생하는 아티팩트를 완화하는 새로운 샘플링 기법인 상태 유도 샘플링(State-Guided Sampling, SGS)을 제안합니다. 나아가, 데이터 품질을 보장하기 위해 인간의 판단과 일치하는 새로운 자동화 평가 시스템을 개발하고 검증합니다. 실험 결과, 본 데이터셋으로 베이스 모델을 미세조정(fine-tuning)하면 타당한 상호작용을 생성하는 능력이 크게 향상됨을 보여줍니다.
SafeGen: VLM 기반 자율주행을 위한 안전 임계 시나리오의 목표 조건 비디오 확산
SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving
VLM은 자율주행(AD) 시스템에 점점 더 배포되고 있어, 드물지만 안전 임계적인 시나리오에서 엄격한 안전성 평가가 시급해졌다. 이 중 취약 도로 이용자와의 상호작용은 실제 세계 실패의 주요 원인이다. 그러나 기존 안전 임계 시나리오 생성 방법은 대부분 시뮬레이터 기반 파이프라인에 의존하며, 이는 상당한 sim-to-real 격차를 겪고 현실적이고 다양하며 예견하지 못한 인간-차량 상호작용 역학을 포착하는 데 자주 실패한다. 우리는 VLM 기반 자율주행(VLMAD)에서 안전 임계 시나리오 생성을 위한 목표 조건 확산 프레임워크인 SafeGen을 제안한다. 핵심 통찰은 시나리오 생성을 목표 조건 확산 과정으로 공식화하는 것으로, 사전 정의된 치명적 종료 상태가 강한 지도 신호로 작용하여 안전 임계 결과를 향해 자연스럽게 진화하는 시간적으로 일관된 비디오 궤적 생성을 유도한다. 이 공식화를 바탕으로, 우리는 컨텍스트 그라운딩 종료 상태 추론(Context Grounded End State Reasoning)을 도입한다. 이는 VLM을 활용해 양호한 주행 컨텍스트를 분석하고 인간-차량 상호작용의 잠재적 취약점을 추론하여 고위험 시나리오를 유도하는 구조화된 종료 상태 명세를 생성한다. 이러한 목표에 조건화하여, 우리는 종료 상태 조건 비디오 진화(End State Conditioned Video Evolution)를 추가로 제안한다. 이는 의미적 위협을 물리적으로 타당한 시각적 역학으로 그라운딩한다. 구체적으로, 깊이 인식 기하학적 투영을 통해 장면 내 고위험 에이전트를 인스턴스화하고, 이어 경계 조건 확산으로 일관된 운동 패턴과 시간적 일관성을 갖는 중간 프레임을 생성한다. 3개 VLMAD에 걸친 광범위한 실험은 SafeGen이 VLM 판사를 사용해 VLMAD의 이해와 의사결정을 평가하는 지표인 Judge Overall Score를 SoTA 베이스라인 대비 평균 24.25% 향상시킴을 보여준다. 또한 VLMAD 미세조정은 실제 주행 장면에서 성능을 평균 15.9% 향상시킨다.
Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델
Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data
다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.
M$^\text{4}$World: 상호작용형 객체 조작 및 분 단위 스트리밍을 위한 멀티뷰 멀티모달 주행 월드 모델
M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming
주행 월드 생성은 확장 가능한 자율주행 시뮬레이션의 핵심 역량으로 부상했지만, 기존 방법들은 객체 수준의 제어 가능성과 장기 안정성에서 여전히 제한적이다. 우리는 M$^\text{4}$World를 제안한다. 이는 미래의 surround-view 영상 스트림과 동기화된 LiDAR 스캔을 합성하면서 상호작용형 객체 조작과 안정적인 분 단위 스트리밍을 지원하는 멀티뷰·멀티모달 생성형 주행 월드 모델이다. 세밀한 객체 조작은 개별 객체의 공간적 배치와 시각적 외관 모두에 대한 명시적 제어를 지원하는 유연한 conditioning 인터페이스를 통해 구현된다. 한편 안정적인 분 단위 스트리밍은 확장된 rollout 동안 일관된 월드 역학을 유지하면서 단 4개의 denoising 단계만으로 온라인 인과(causal) 생성을 가능하게 하는 다단계 학습 프레임워크를 통해 달성된다. 이러한 구성 요소를 바탕으로, 우리는 효율적인 few-clip 사후 학습과 시각적 참조 조건화 생성 모델 모음을 도입하여, 일반 생성 능력을 유지하면서 장꼬리(long-tail) 제어 가능성을 위한 희귀 사례 맞춤화를 가능하게 한다. 제어 가능성을 사실성(realism)을 넘어 평가하기 위해, 우리는 장면 수준의 조건 준수, 시점별 객체 제어 가능성, 시점 간 객체 일관성을 평가하는 VLM 기반 자동 판별 파이프라인을 추가로 도입한다. 포괄적인 실험 결과, M$^\text{4}$World는 높은 생성 품질, 정밀한 제어 가능성, 안정적인 분 단위 스트리밍을 일관되게 제공함을 보여준다. 하위 장꼬리 증강과 장면 편집과 함께, 이러한 결과는 제어 가능하고 확장 가능한 주행 시뮬레이션을 위한 M$^\text{4}$World의 잠재력을 입증한다.
미세표정 인식을 위한 행동 단위(AU) 기반 합성 비디오 생성
AU-Guided Synthetic Video Generation for Micro-Expression Recognition
미세표정 인식은 기존 데이터셋의 소규모, 좁은 인구통계학적 범위, 제한된 감정 레이블로 인해 한계가 있다. 우리는 AU 기반 이미지-투-비디오 생성으로 구축된 합성 미세표정 데이터셋인 EquiME를 소개한다. EquiME는 다섯 가지 목표 감정에 걸쳐 15K개의 소스 얼굴 이미지로부터 생성된 75K개의 비디오를 포함하며, 자동으로 추론된 인구통계학적 메타데이터와 비디오 품질 측정값도 함께 제공된다. 우리는 프레임 쌍 유사도, 공간 변화, 무참조 지각 품질 메트릭과 함께 SAMM 및 CASME II에 대한 교차 데이터셋 미세표정 인식(MER) 실험을 통해 EquiME를 평가한다. EquiME로 학습된 모델은 SAMM 및 CASME II에서 경쟁력 있는 교차 데이터셋 성능을 달성하며, 평가된 네 가지 아키텍처 전반에 걸쳐 비교적 낮은 변동성을 보인다. 본 논문은 데이터셋 설계, 비디오 생성에 사용된 구조화된 AU 조건화 파이프라인, 그리고 EquiME를 합성 MER 자원으로 평가하는 데 필요한 실증적 근거에 초점을 맞춘다. 프로젝트 페이지: https://kirito-blade.github.io/me-vlm/
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
토론
이 논문과 연결된 포럼 글이 아직 없습니다.