야생의 자기 움직임을 통한 음향 위치 파악의 지도 학습
Supervising Sound Localization by In-the-wild Egomotion
본 논문에서는 자기 움직임(egomotion)을 지도 신호로 활용하여 바이노럴 음향 위치 파악(binaural sound localization)을 학습하는 방법을 제시합니다. 비디오가 진행되는 동안 카메라가 움직임에 따라 음원(sound source)을 향한 카메라의 방향도 변화합니다. 우리는 다중 시점 기하학(multi-view geometry)의 전통적인 방법으로 얻은 카메라 움직임에 대한 시각적 추정치와 일치하도록 음향 방향을 예측하는 오디오 모델을 학습시킵니다. 이는 전통적인 바이노럴 단서와 결합할 수 있는 약하지만 풍부한 형태의 지도 신호를 제공합니다. 이 방법을 평가하기 위해, 자기 움직임이 포함된 실제 환경의 시청각 비디오 데이터셋을 제안합니다. 실험을 통해 본 모델이 실제 데이터로부터 성공적으로 학습할 수 있으며 음향 위치 파악 작업에서 우수한 성능을 발휘함을 보여줍니다.