스테레오로 세상 듣기: 몰입형 비디오-오디오 동시 생성을 위한 동적 공간 대응 학습
Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation
최근의 비디오-오디오 동시 생성 모델들은 강력한 의미론적 대응과 시간적 동기화를 달성했습니다. 그러나 AR/VR 및 인터랙티브 게이밍과 같은 응용 분야에서는 몰입감을 제공하기 위해 스테레오 오디오가 추가로 요구되며, 이는 여전히 대체로 간과되고 있습니다. 효과적인 스테레오 오디오는 인지되는 음향 위치가 그에 대응하는 시각적 음원의 움직임과 일관되게 변화해야 합니다. 저자들은 이러한 특성을 동적 공간 대응(Dynamic Spatial Correspondence)이라 칭하며, 시각적 음원 움직임을 스테레오 음향 생성에 결합하는 프레임워크인 StereoBind를 제안합니다. StereoBind는 세 가지 상호보완적 메커니즘을 통해 모션 트랙을 활용하여 시각적 움직임과 스테레오 오디오를 조율합니다. 시각적 모션 바인딩(Visual Motion Binding)은 음원 인식 시청각 대응을 확립하고, 공간 트랙 인코더(Spatial Track Encoder)는 절대적인 음원 위치를 포착하며, 잔차 트랙 RoPE(Residual Track RoPE)는 상대적 움직임을 모델링합니다. 지도 학습 및 평가를 위해 모션 트랙이 쌍으로 구성된 대규모 스테레오 오디오-비디오 데이터셋인 StereoWorld-29K와 시청각 공간 일관성을 측정하기 위한 StereoWorldBench를 구축합니다. 실험 결과, StereoBind는 전반적인 시청각 품질을 유지하면서 기존 모델 대비 스테레오 오디오 생성의 공간적 정렬(spatial alignment)을 대폭 개선함을 보여줍니다.