arXiv:2609.23156v1 cs.SD

EquiSELD: 등변 음향 이벤트 검출 및 위치 추정 네트워크의 효율적 학습

EquiSELD: Efficient training of equivariant sound event localization and detection networks

Goksenin Yuksel, Marcel van Gerven, Kiki van der Heijden

제출 2026-09-22

한국어 초록

1차 앰비소닉스(FOA) 신호는 정확한 O(3) 대칭성을 나타낸다. FOA 신호를 회전하거나 반사하면 음원 자체는 유지되면서 음원의 도달 방향(direction of arrival)만 바뀐다. FOA의 이러한 공간 대칭성을 활용해 음향 이벤트 검출 및 위치 추정(SELD) 시스템의 효율과 견고성을 높이려 한 기존 시도들은 회전 기반 증강으로 대칭성의 근사만 학습했거나, 등변성을 통합하기 위해 계산 비용이 큰 방법에 의존했다. 또한 선행 연구는 SO(3) 등변성에만 집중해 SELD 과제에 O(3) 등변성을 도입할 잠재력을 불분명하게 남겼다. 이러한 한계를 해결하기 위해 EquiSELD를 개발했다. 이 등변 어텐션 네트워크는 1차 앰비소닉스를 O(3)-불변 스칼라와 등변 intensity 벡터의 쌍(pair) 스트림으로 처리하고, Multi-ACCDOA readout을 통해 불변 활동(activity) 크기와 등변 DOA를 산출한다. O(3)와 SO(3) 등변성의 영향을 비교하기 위해 SO(3)만 사용하는 짝 맞춘(matched) 변형을 설계했다. EquiSELD는 측정된 RIR(룸 임펄스 응답)을 사용한 시뮬레이션 장면과 실제 음향 장면 녹음 모두에서, 훨씬 적은 학습 비용으로 기존 등변 네트워크를 능가한다. EquiSELD는 또한 시뮬레이션된 실제 음향 장면에서 유사한 규모의 비등변 SELD 네트워크 성능을 넘어서며, 실제 음향 장면에서는 경쟁력 있는 성능을 달성한다.

원문 초록

First-order Ambisonics (FOA) signals exhibit exact O(3) symmetry: The rotation or reflection of the FOA signal modifies the direction of arrival of the sound sources, while preserving the sound sources themselves. Prior attempts to utilize this spatial symmetry of FOA to improve the efficiency and robustness of sound event detection and localization (SELD) systems either learned only an approximation of the symmetry through rotation-based augmentation or relied on computationally expensive methods to integrate equivariance. Furthermore, prior work focused exclusively on SO(3) equivariance , leaving the potential of incorporating O(3) equivariance for SELD tasks unclear. To address these limitations, we developed EquiSELD. This equivariant attention network processes first-order Ambisonics as paired streams of O(3)-invariant scalars and equivariant intensity vectors, producing an invariant activity magnitude and an equivariant DOA with a Multi-ACCDOA readout. To compare the impact of O(3) versus SO(3)-equivariance, we designed a matched SO(3)-only variant. EquiSELD outperforms prior equivariant networks on both simulated scenes with measured RIRs and recordings of real-world sound scenes at a fraction of the training cost. EquiSELD additionally surpasses the performance of non-equivariant SELD networks of a similar size on the simulated real-world sound scenes and achieves competitive performance on the real-world sound scenes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23156v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10776v1cs.LG공통 태그 Computational Efficiency, Inductive Bias

NEMORA: 장거리 원자론적 학습을 위한 신경 등변 다중극 연산자

NEMORA: Neural Equivariant Multipole Operators for Long-Range Atomistic Learning

등변 그래프 신경망(Equivariant Graph Neural Network)은 머신러닝 기반 원자 간 포텐셜(interatomic potential)의 핵심 아키텍처로 부상하여, 계산 비용의 일부만으로도 양자 화학 수준의 정확도에 근접하고 있습니다. 이러한 모델들은 국소 원자 환경을 정확하게 기술하지만, 유한한 공간적 컷오프(cutoff)로 인해 장거리 정보 흐름이 단절되며, 메시지 전달 계층을 깊게 쌓으면 지나친 평활화(over-smoothing) 및 과도한 압축(over-squashing)이 발생할 수 있습니다. 기존의 장거리 확장 기법들은 고정된 해석적 전파 커널(propagation kernel)을 규정하거나, 장거리 통신을 스칼라 또는 차수 보존 채널로 제한하거나, 근사적으로만 등변성을 만족하거나, 초선형(super-linear) 계산 비용을 초래합니다. 대규모 시스템에 대해 효율적인 스케일링(scaling) 및 다중 스케일 다체 표현력과 함께 학습 가능한 장거리 등변 수송을 결합하는 것은 여전히 핵심 과제로 남아 있습니다. 본 논문에서는 장거리 텐서 표현 학습을 위해 고속 다중극 방법(Fast Multipole Method, FMM)을 신경 등변 방식으로 확장한 NEMORA(Neural Equivariant Multipole Operators)를 소개합니다. NEMORA는 적응형 공간 계층 구조상에서 FMM의 해석적 다중극 전개 및 변환 연산자를 학습 가능한 등변 연산자로 일반화합니다. 이 연산자들은 각도 차수를 결합하고 다양한 길이 스케일에 걸쳐 다체 상호작용을 형성하며, 데이터 의존적인 장거리 결합을 학습하는 동시에 FMM의 계층적 구조와 해석적 방사형 인자를 물리적 귀납 편향(inductive bias)으로 유지합니다. NEMORA는 선형 시간 및 메모리 복잡도로 평가되므로 수십만 개의 원자에 달하는 대규모 시스템을 다른 장거리 방식보다 효율적으로 다룰 수 있으며, 대칭 제약이 있는 백본 및 제약이 없는 단거리 백본 모두를 보강합니다. 비국소(non-local) 벤치마크에서 단거리 백본 대비 힘(force) 및 에너지 오차를 각각 1자릿수(order of magnitude) 이상, 최대 3자릿수까지 줄여, 정확도 측면에서 기존의 장거리 확장 기법보다 우수하거나 경쟁력 있는 성능을 보입니다.

arXiv:2609.26940v1cs.NE공통 태그 Computational Efficiency, Inductive Bias

감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다

The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity

생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.

arXiv:2609.27762v1cs.SD공통 태그 Computational Efficiency, Sound Event Detection

"무슨 소리지?": 환경 소리 인식을 위한 다재다능하고 견고하며 경량화된 합성곱 트랜스포머

"What's That Sound?": A Versatile, Robust, and Lightweight Convolutional Transformer for Environment Sound Recognition

기존의 보청기는 음성이 아닌 오디오를 감지하도록 설계되지 않아 비용이 많이 들고 사용에 한계가 있습니다. 본 연구의 목적은 청각 장애인의 안전성(safety)을 향상하기 위해 주변 소리를 식별하는 보다 정확하고 경제적인 메커니즘을 제공하는 머신러닝 솔루션을 개발하는 것입니다. 예를 들어 보행자 뒤에서 자동차가 경적을 울리거나 총성이 발생했을 때 발생원으로부터 벗어나야 하는 상황 등이 이에 해당합니다. 오디오에 무작위 증강을 추가하고, 멜 주파수 켑스트럼 계수(MFCCs) 다이어그램과 로그-멜 스펙트로그램을 결합하며, 트랜스포머(Transformer) 아키텍처에 합성곱 신경망(CNN)을 포함함으로써, 무작위 오디오 증강 계층형 합성곱 트랜스포머(RALCT) 모델은 다양화된 오디오 표현으로부터 특징을 효율적으로 추출합니다. 또한, RALCT는 매개변수 수가 약 310,000개에 불과할 정도로 작아 모바일 기기에 배포할 수 있습니다. UrbanSound8K 데이터셋에 대한 실험 결과, RALCT의 모든 변형 모델에서 지속적으로 93% 이상의 정확도를 보였으며 최고 94.56%를 기록하여 최고 수준(SOTA)에 도달했습니다. 이 기술의 역량을 활용하기 위해 모델과 통합되어 실시간 안전 제어를 제공하는 모바일 앱이 개발되었습니다. 따라서 RALCT는 청각 장애인의 이동 및 안전을 지원하는 견고하고 경량화되며 경제적이고 다재다능한 심층 학습 도구를 제시합니다.

arXiv:2609.26297v1cs.NE공통 태그 Computational Efficiency, Inductive Bias

스파이킹 트랜스포머에서의 쌍별 토큰 상호작용 재고

Rethinking Pairwise Token Interaction in Spiking Transformers

스파이킹 트랜스포머(Spiking Transformers)는 기존 트랜스포머의 토큰 상호작용 메커니즘을 계승하지만, 희소한 이진 표현으로 인해 토큰 간 통신이 형성되는 방식이 근본적으로 변화합니다. 특히 스파이크 기반 쿼리-키(query-key) 매칭은 매우 희소하고 입력 의존적인 상호작용 패턴을 생성하여, 정보 전파가 일치하는 스파이크 이벤트의 순간적 가용성과 결합되도록 만듭니다. 이는 장거리 통신이 쌍별(pairwise) 스파이크 일치에만 의존하지 않는 새로운 상호작용 패러다임의 필요성을 동기부여합니다. 이에 따라 본 논문에서는 정보 전파와 문맥 선택을 분리하는 스파이크 네이티브(spike-native) 토큰 상호작용 메커니즘인 GSAP(Gated Spike Axial Propagation)을 제안합니다. GSAP은 쿼리-키 매칭을 통해 통신을 직접 결정하는 대신, 수평 및 수직 축을 따라 스파이크 기반 문맥을 먼저 전파함으로써 구조화된 순차적 전파를 통해 정보가 먼 토큰까지 도달할 수 있도록 합니다. 그런 다음 수신자 조건부 게이트(receiver-conditioned gate)가 각 토큰에서 전파된 문맥이 얼마만큼 통합될지를 결정하며, 경량 로컬 경로(local pathway)는 세밀한 이웃 정보를 보존합니다. 이러한 방식으로 GSAP은 토큰 상호작용을 '전파 후 선택(propagate-then-select)' 과정으로 재구성하여, 스파이킹 표현의 희소한 이벤트 기반 특성을 유지하면서도 구조화된 장거리 통신을 가능하게 합니다. 코드는 https://github.com/Fancyssc/GSAP 에서 확인할 수 있습니다.

arXiv:2609.23152v1cs.SD공통 태그 Sound Event Detection, ambisonics

Bearings: 1차 앰비소닉스로부터 학습하는 자기지도 음장 임베딩

Bearings: Self-Supervised Soundfield Embeddings from First-Order Ambisonics

최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.