합성 상태 전이를 활용한 비디오 상호작용 생성 부트스트래핑
Bootstrapping Video Interaction Generation with Synthetic State Transitions
최근의 비디오 생성 모델은 고화질 비디오를 합성할 수 있지만, 타당한 물리적 상호작용과 그로 인한 상태 전이(state transition)를 묘사하는 데 어려움을 겪고 있으며, 이는 로보틱스 및 VR/AR 응용 분야에서 중대한 병목 현상입니다. 이를 해결하기 위해, 본 연구에서는 제어 가능한 상호작용의 확장 가능한 합성 데이터셋을 생성하는 프레임워크를 소개합니다. 제안하는 파이프라인은 구조화된 분류 체계(taxonomy)와 최신 이미지 편집 모델을 활용하여 상호작용의 시각적 앵커(visual anchor) 역할을 하는 명시적인 '시작' 및 '종료' 상태 이미지를 생성합니다. 이러한 앵커를 활용해 매끄러운 비디오를 생성하기 위해, 단순한 조건부 생성에서 흔히 발생하는 아티팩트를 완화하는 새로운 샘플링 기법인 상태 유도 샘플링(State-Guided Sampling, SGS)을 제안합니다. 나아가, 데이터 품질을 보장하기 위해 인간의 판단과 일치하는 새로운 자동화 평가 시스템을 개발하고 검증합니다. 실험 결과, 본 데이터셋으로 베이스 모델을 미세조정(fine-tuning)하면 타당한 상호작용을 생성하는 능력이 크게 향상됨을 보여줍니다.