본 논문에서는 자기 움직임(egomotion)을 지도 신호로 활용하여 바이노럴 음향 위치 파악(binaural sound localization)을 학습하는 방법을 제시합니다. 비디오가 진행되는 동안 카메라가 움직임에 따라 음원(sound source)을 향한 카메라의 방향도 변화합니다. 우리는 다중 시점 기하학(multi-view geometry)의 전통적인 방법으로 얻은 카메라 움직임에 대한 시각적 추정치와 일치하도록 음향 방향을 예측하는 오디오 모델을 학습시킵니다. 이는 전통적인 바이노럴 단서와 결합할 수 있는 약하지만 풍부한 형태의 지도 신호를 제공합니다. 이 방법을 평가하기 위해, 자기 움직임이 포함된 실제 환경의 시청각 비디오 데이터셋을 제안합니다. 실험을 통해 본 모델이 실제 데이터로부터 성공적으로 학습할 수 있으며 음향 위치 파악 작업에서 우수한 성능을 발휘함을 보여줍니다.
최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.