MotionSpec: 동작 일관성 비디오 생성을 위한 스펙트럴 궤적 감독
MotionSpec: Spectral Trajectory Supervision for Motion-Consistent Video Generation
최근 텍스트-투-비디오(text-to-video) 생성의 발전으로 고품질 시각 합성이 가능해졌지만, 사실적인 동작(motion) 구현은 여전히 어렵다. 생성된 비디오는 시간적 불연속성, 일관되지 않은 동작 진행, 복잡한 움직임 중 구조적 왜곡을 보일 수 있다. 개별 프레임이 사실적으로 보이더라도 기저 동작은 일관되지 않거나 비현실적인 방식으로 진화할 수 있다. 표준 생성 목적 함수는 동작 특화 감독을 제한적으로만 제공하여 동작 진화가 충분히 제약되지 않는다. 본 논문에서는 스펙트럴 궤적 일관성(Spectral Trajectory Consistency, STC)을 중심으로 한 동작 감독 프레임워크 MotionSpec을 제안한다. STC는 밀집 anchor-relative 동작 궤적을 구성하고 시간 푸리에 변환(temporal Fourier transform)을 통해 이를 motion spectral volume으로 변환한다. 예측 궤적과 목표 궤적의 스펙트럴 진폭과 위상을 정렬함으로써 STC는 시간 주파수에 걸친 동작 강도와 동작의 시간적 구조화를 모두 제약한다. 궤적 수준 감독을 보완하기 위해, 예측·목표 비디오 간 연속 프레임 optical flow를 정렬하여 국소 동작 전환을 안정화하는 국소 흐름 일관성(Local Flow Consistency, LFC)을 도입한다. 실험 결과 MotionSpec은 시각적 충실도를 유지하면서 동작 일관성, 시간적 일관성, 및 타당성을 일관되게 향상시킴을 보여준다.