야생의 자기 움직임을 통한 음향 위치 파악의 지도 학습
Supervising Sound Localization by In-the-wild Egomotion
한국어 초록
본 논문에서는 자기 움직임(egomotion)을 지도 신호로 활용하여 바이노럴 음향 위치 파악(binaural sound localization)을 학습하는 방법을 제시합니다. 비디오가 진행되는 동안 카메라가 움직임에 따라 음원(sound source)을 향한 카메라의 방향도 변화합니다. 우리는 다중 시점 기하학(multi-view geometry)의 전통적인 방법으로 얻은 카메라 움직임에 대한 시각적 추정치와 일치하도록 음향 방향을 예측하는 오디오 모델을 학습시킵니다. 이는 전통적인 바이노럴 단서와 결합할 수 있는 약하지만 풍부한 형태의 지도 신호를 제공합니다. 이 방법을 평가하기 위해, 자기 움직임이 포함된 실제 환경의 시청각 비디오 데이터셋을 제안합니다. 실험을 통해 본 모델이 실제 데이터로부터 성공적으로 학습할 수 있으며 음향 위치 파악 작업에서 우수한 성능을 발휘함을 보여줍니다.
원문 초록
We present a method for learning binaural sound localization using egomotion as a supervisory signal. Over the course of a video, the cameras direction to a sound source will change as the camera moves. We train an audio model to predict sound directions that are consistent with visual estimates of camera motion, which we obtain using traditional methods from multi-view geometry. This provides a weak but plentiful form of supervision that we combine with traditional binaural cues. To evaluate this method, we propose a dataset of real-world audio-visual videos with egomotion. We show that our model can successfully learn from real-world data and that it performs well on sound localization tasks
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Bearings: 1차 앰비소닉스로부터 학습하는 자기지도 음장 임베딩
Bearings: Self-Supervised Soundfield Embeddings from First-Order Ambisonics
최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
Shape-based Figure-Ground Organization in Vision Transformers
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
PixCon: 기반 모델 반지도 분할을 위한 클린-포지티브 대조 학습
PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation
공정한 자기지도 학습을 위한 편향 없는 Open World 정규화
Unbiased Open World Regularization for Fair Self-Supervised Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
CVPR 2025 Highlight (IEEE/CVF Conference on Computer Vision and Pattern Recognition)