기존의 보청기는 음성이 아닌 오디오를 감지하도록 설계되지 않아 비용이 많이 들고 사용에 한계가 있습니다. 본 연구의 목적은 청각 장애인의 안전성(safety)을 향상하기 위해 주변 소리를 식별하는 보다 정확하고 경제적인 메커니즘을 제공하는 머신러닝 솔루션을 개발하는 것입니다. 예를 들어 보행자 뒤에서 자동차가 경적을 울리거나 총성이 발생했을 때 발생원으로부터 벗어나야 하는 상황 등이 이에 해당합니다. 오디오에 무작위 증강을 추가하고, 멜 주파수 켑스트럼 계수(MFCCs) 다이어그램과 로그-멜 스펙트로그램을 결합하며, 트랜스포머(Transformer) 아키텍처에 합성곱 신경망(CNN)을 포함함으로써, 무작위 오디오 증강 계층형 합성곱 트랜스포머(RALCT) 모델은 다양화된 오디오 표현으로부터 특징을 효율적으로 추출합니다. 또한, RALCT는 매개변수 수가 약 310,000개에 불과할 정도로 작아 모바일 기기에 배포할 수 있습니다. UrbanSound8K 데이터셋에 대한 실험 결과, RALCT의 모든 변형 모델에서 지속적으로 93% 이상의 정확도를 보였으며 최고 94.56%를 기록하여 최고 수준(SOTA)에 도달했습니다. 이 기술의 역량을 활용하기 위해 모델과 통합되어 실시간 안전 제어를 제공하는 모바일 앱이 개발되었습니다. 따라서 RALCT는 청각 장애인의 이동 및 안전을 지원하는 견고하고 경량화되며 경제적이고 다재다능한 심층 학습 도구를 제시합니다.
1차 앰비소닉스(FOA) 신호는 정확한 O(3) 대칭성을 나타낸다. FOA 신호를 회전하거나 반사하면 음원 자체는 유지되면서 음원의 도달 방향(direction of arrival)만 바뀐다. FOA의 이러한 공간 대칭성을 활용해 음향 이벤트 검출 및 위치 추정(SELD) 시스템의 효율과 견고성을 높이려 한 기존 시도들은 회전 기반 증강으로 대칭성의 근사만 학습했거나, 등변성을 통합하기 위해 계산 비용이 큰 방법에 의존했다. 또한 선행 연구는 SO(3) 등변성에만 집중해 SELD 과제에 O(3) 등변성을 도입할 잠재력을 불분명하게 남겼다. 이러한 한계를 해결하기 위해 EquiSELD를 개발했다. 이 등변 어텐션 네트워크는 1차 앰비소닉스를 O(3)-불변 스칼라와 등변 intensity 벡터의 쌍(pair) 스트림으로 처리하고, Multi-ACCDOA readout을 통해 불변 활동(activity) 크기와 등변 DOA를 산출한다. O(3)와 SO(3) 등변성의 영향을 비교하기 위해 SO(3)만 사용하는 짝 맞춘(matched) 변형을 설계했다. EquiSELD는 측정된 RIR(룸 임펄스 응답)을 사용한 시뮬레이션 장면과 실제 음향 장면 녹음 모두에서, 훨씬 적은 학습 비용으로 기존 등변 네트워크를 능가한다. EquiSELD는 또한 시뮬레이션된 실제 음향 장면에서 유사한 규모의 비등변 SELD 네트워크 성능을 넘어서며, 실제 음향 장면에서는 경쟁력 있는 성능을 달성한다.
최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.
본 논문은 DS@GT ARC 팀의 BirdCLEF+ 2026 접근 방식을 설명한다. BirdCLEF+ 2026은 Pantanal 습지의 사운드스케이프에서 동물 발성을 다중 레이블로 탐지하는 과제이다. 2026년판은 약 1시간 분량의 라벨이 붙은 사운드스케이프를 추가하여, 과제를 라벨 집합에 맞춘 지도 학습 파이프라인 중심으로 전환한다. 먼저, 고정(frozen) Perch v2 백본, 학습된 HGNetV2-B0 음향 이벤트 탐지(sound-event detection) 네트워크, 비조류 prototypical 헤드를 앙상블한 경쟁력 있는 지도 학습 기준선(baseline)을 구축하였으며, 90분 CPU 예산 내에서 private leaderboard 점수 0.936, 순위 1894를 달성하였다. 둘째, 토큰 기반 표현이 경쟁할 수 있는지를 묻고, 신경 오디오 코덱(neural audio codec)의 codec 표현과 foundational 임베딩(embedding)의 의미적(semantic) 표현을 대조한다. AudioSet에서 학습된 4개의 토큰 기반 인코더와 2개의 생물음향(bioacoustic) 전문 모델을 비교한다. 이 연구의 저장소는 https://github.com/dsgt-arc/birdclef-2026 에서 확인할 수 있다.
히어러블(hearable)이 보편화되고 있지만, 그 음향 제어 기능은 여전히 거칠다. 사용자는 전역 소음 억제를 활성화하거나 단일 목표 음원에 집중하는 것 중 하나만 선택할 수 있다. 그러나 실제 음향 장면에는 사용자가 독립적으로 조절하고 싶은 다수의 동시 음원이 존재한다. 우리는 자원 제약적인 히어러블에서 세밀한 실시간 사운드스케이프 제어를 제공하는 최초의 시스템인 Aurchestra를 소개한다. 본 시스템은 두 가지 핵심 구성 요소를 갖는다: (1) 활성 음원 클래스만을 표시하는 동적 인터페이스, (2) 선택된 각 클래스에 대해 별도의 스트림을 생성하는 실시간 온디바이스 다중 출력 추출 네트워크. 이 네트워크는 최대 5개의 중첩 목표 음원에 대해 강건한 성능을 달성하며, 오디오 엔지니어가 트랙을 믹싱하듯 클래스별 볼륨을 조정하여 사용자가 자신의 환경을 직접 구성할 수 있게 한다. 우리는 다양한 컴퓨팅 제한 플랫폼에 맞게 모델 아키텍처를 최적화하고, 6 ms 스트리밍 오디오 청크에서의 실시간 성능을 시연한다. 미관측 실내외 시나리오를 포함한 실제 환경에서, 본 시스템은 표현력 있는 클래스별 음향 제어를 가능하게 하며 목표 클래스 강화 및 간섭 억제에서 실질적인 성능 향상을 달성한다. 우리의 결과는 세계가 하나의 미분화된 스트림으로만 들릴 필요가 없음을 보여준다. Aurchestra와 함께라면 사운드스케이프는 진정으로 프로그래머블해진다.
본 보고서는 사전학습된 범용 오디오 태깅(GP-AT) 모델을 공간적으로 그라운딩된 음원 이벤트 위치 추정 및 탐지(SELD)로 확장하는 방안을 조사한다. 제안된 AT2SELD 프레임워크는 사전학습된 AT 백본과 컴팩트한 1차 안비소닉(FOA) 공간 처리, 트랙별 SED 및 Cartesian DOA 추정, 순열 인식(permutation-aware) 감독, 그리고 보정(calibration)을 결합한다. 이는 데이터, 연산, 배포 제약 하에서 의미적 오디오 사전지식(priors)이 위치 인식 장면 분석을 어떻게 지원하는지 특성화한다. 이 프레임워크는 정보 기반 다단계 신경망 구조 탐색(NAS)을 통해 개발된다. 1단계에서는 크기(magnitude), 위상(phase), Intensity Vectors(IVs)에 기반한 스펙트럴 FOA 기술자(descriptor)가 의미-공간 전이를 위한 가장 신뢰할 수 있는 인터페이스를 제공함을 보인다. 2단계는 초기 잔차(residual) 공간 인코딩을 주요 용량(capacity) 민감 구성 요소로 식별하며, 후기 트랙별 추상화와 순환(recurrent) 스무딩은 주로 정제(refinement) 단계로 작용한다. 3단계는 후기 cross-stitch 결합이 의미-공간 상호작용을 개선하는 반면, 초기 융합은 비용이 더 크고 효과가 낮음을 보인다. 진단 평가는 클래스 균형화, focal loss, 활동 조건(activity-conditioned) DOA 감독, 임계값 보정, 그리고 STARSS23, TAU2019, TAU-NIGENS2020, TAU-NIGENS2021에 걸친 전이 하에서 선택된 아키텍처를 분석한다. Focal loss는 활동 점(activity point)을 개선하고, 활성(active-only) DOA 감독은 비활성 타깃 지배(inactive target dominance)를 완화하며, 검증으로 선택된 임계값은 공간 학습을 대체하지 않고 보정을 회복한다. 크로스 데이터셋 및 오라클 활동(oracle-activity) 분석은 TAU2019에서 강한 고정 음원 위치 추정, TAU NIGENS2021로부터의 전이 가능한 표현, STARSS23에서의 의미 있지만 불확실한 동작을 나타낸다. 전반적으로 GP-AT 사전지식은 공간 인식(spatial-aware) 아키텍처에 내재되고 통합 보정 및 배포 지향 전략을 통해 최적화될 때 SELD 설계에 유망해 보인다.