Tri-Prompting: 장면, 대상 및 모션을 통합 제어하는 비디오 확산 모델
Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion
최근 비디오 확산 모델(video diffusion model)들은 뛰어난 시각적 품질과 시간적 일관성을 달성하고 있지만, 장면 레이아웃, 사용자 맞춤형 대상의 정체성(identity), 카메라/대상 모션에 대한 조율된 제어는 여전히 부족합니다. 본 연구에서는 첫 프레임 장면 이미지, 3D 인식 다중 시점 대상 참조(reference), 모션 구동 신호라는 세 가지 프롬프트를 통한 제어 가능한 비디오 생성을 다룹니다. 카메라 모션 하에서 배경 영역은 대체로 추적이 가능한 반면, 전경 대상은 회전하거나 자체 가림(self-occlusion)이 발생하고 정체성이 유지되는 외형이 필요한 새로운 영역을 드러낼 수 있으므로 이러한 설정은 도전적인 과제입니다. 이에 다중 시점 대상 조건화와 이중 조건화된 모션 제어를 결합한 비디오 확산 프레임워크인 Tri-Prompting을 소개합니다. Tri-Prompting은 가시적인 배경 모션에는 XYZ 추적 포인트를 사용하고 전경 대상 자세에는 저해상도 RGB 프록시를 사용하여, 모델이 다중 시점 참조로부터 정밀한 외형을 복원하는 동시에 타당한 대상-장면 상호작용을 위한 유연성을 유지하도록 합니다. 또한 추론(inference) 시점의 ControlNet 스케일 스케줄을 통해 모션 제어 가능성과 시각적 사실성 간의 균형을 더욱 세밀하게 맞춥니다. 모션 재구성을 위한 DaS 및 대상 기반 생성을 위한 Phantom과 같은 특화된 베이스라인들과 비교 평가한 결과, Tri-Prompting은 경쟁력 있거나 개선된 재구성 품질, 더 강력한 다중 시점 정체성 보존, 향상된 3D 일관성을 달성하는 동시에 3D 인식 대상 삽입 및 장면 내 조작을 가능하게 합니다.