PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23156v1cs.SD

EquiSELD: 등변 음향 이벤트 검출 및 위치 추정 네트워크의 효율적 학습

EquiSELD: Efficient training of equivariant sound event localization and detection networks

1차 앰비소닉스(FOA) 신호는 정확한 O(3) 대칭성을 나타낸다. FOA 신호를 회전하거나 반사하면 음원 자체는 유지되면서 음원의 도달 방향(direction of arrival)만 바뀐다. FOA의 이러한 공간 대칭성을 활용해 음향 이벤트 검출 및 위치 추정(SELD) 시스템의 효율과 견고성을 높이려 한 기존 시도들은 회전 기반 증강으로 대칭성의 근사만 학습했거나, 등변성을 통합하기 위해 계산 비용이 큰 방법에 의존했다. 또한 선행 연구는 SO(3) 등변성에만 집중해 SELD 과제에 O(3) 등변성을 도입할 잠재력을 불분명하게 남겼다. 이러한 한계를 해결하기 위해 EquiSELD를 개발했다. 이 등변 어텐션 네트워크는 1차 앰비소닉스를 O(3)-불변 스칼라와 등변 intensity 벡터의 쌍(pair) 스트림으로 처리하고, Multi-ACCDOA readout을 통해 불변 활동(activity) 크기와 등변 DOA를 산출한다. O(3)와 SO(3) 등변성의 영향을 비교하기 위해 SO(3)만 사용하는 짝 맞춘(matched) 변형을 설계했다. EquiSELD는 측정된 RIR(룸 임펄스 응답)을 사용한 시뮬레이션 장면과 실제 음향 장면 녹음 모두에서, 훨씬 적은 학습 비용으로 기존 등변 네트워크를 능가한다. EquiSELD는 또한 시뮬레이션된 실제 음향 장면에서 유사한 규모의 비등변 SELD 네트워크 성능을 넘어서며, 실제 음향 장면에서는 경쟁력 있는 성능을 달성한다.

arXiv:2609.23152v1cs.SD

Bearings: 1차 앰비소닉스로부터 학습하는 자기지도 음장 임베딩

Bearings: Self-Supervised Soundfield Embeddings from First-Order Ambisonics

최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.