The Differentiable Auditory Loop (DAL): An ML Framework for Hyper-Personalized Hearing Aids
한국어 초록
일반적인 보청기는 감소된 감도를 관리하기 위해 고정적이고 주파수 의존적인 증폭과 압축에 의존하는데, 이는 여러 화자가 있는 상황(이른바 “칵테일 파티” 문제)과 같은 복잡한 환경에서는 충분한 청취 지원을 제공하지 못하는 경우가 많습니다. 청각 손실의 근본적인 인코딩 기능 이상을 보다 포괄적으로 해결하기 위해, 우리는 개인화된 보청기 설계와 피팅을 위한 새로운 오픈소스 프레임워크인 미분 가능한 청각 루프(Differentiable Auditory Loop, DAL)를 제안합니다. DAL의 첫 구현은 인간 달팽이관 기능의 미분 가능 모델인 CARFAC를 포함하며, 우리는 이를 JAX로 포팅하여 손상된 청각 신경 활동 패턴이 정상 청력 기준과 일치하도록 심층 신경망을 최적화했습니다. 필요한 세밀한 스펙트럼-시간 신호 처리를 갖춘 보청기를 구축하기 위해, 우리는 파형에서 파형으로 변환하는 완전 합성곱형 U-Net 생성기인 SEANet을 채택했습니다. 그런 다음 정상 청력에 맞춰 피팅한 CARFAC 모델의 출력과 각 피험자의 개별 청력 손실에 맞춰 피팅한 CARFAC 모델의 출력을 비교하여 네트워크를 파인튜닝했습니다. 비교는 각각의 CARFAC 신경 활동 패턴(NAP) 출력과 안정화된 청각 이미지(SAI)에서 유도된 손실 함수를 사용해 수행했으며, 후자는 청각신경 출력의 위상에 둔감한 시간 구조를 포착하는 2차원 표현을 제공합니다. 그래디언트 하강을 통해 SEANet 모델은 입력의 노이즈를 제거하는 동시에 손상된 CARFAC 모델로 모델링된 청력 손실을 보상하도록 학습합니다. 신경 표현 및 신호 충실도 지표 전반에서, DAL로 최적화된 SEANet 모델은 테스트한 마스터 보청기(MHA) 기준선보다 우수한 성능을 보였습니다. DAL 프레임워크는 모델 기반의 머신러닝 주도 보청기 신호 처리 개인화를 향한 실용적인 경로를 제공합니다. 다음 단계로는 실제 임상 시험을 가능하게 하기 위한 하드웨어 배포가 포함됩니다.
요약
기존 보청기는 대체로 고정된 주파수 의존 증폭과 압축에 의존해 청력 저하를 보정해 왔지만, 여러 화자가 동시에 말을 하는 복잡한 환경에서는 충분한 청취 지원을 제공하지 못하는 한계가 있습니다. 이러한 문제의식에서 제안된 Differentiable Auditory Loop(DAL)는 청각계를 미분 가능한 형태로 모델링하고, 이를 바탕으로 보청기 신호 처리를 개인별로 최적화하는 오픈소스 프레임워크입니다. DAL의 첫 구현은 인간 달팽이관 기능을 근사하는 미분 가능 모델인 CARFAC을 JAX로 포팅해 역전파 기반 최적화가 가능하도록 구성했으며, 단순히 소리를 증폭하는 대신 청력 손실이 초래하는 비정상적인 청각 신경 활동 패턴을 정상 청력의 기준 패턴에 가깝게 맞추는 것을 목표로 삼았습니다. 이를 위해 파형에서 파형으로 직접 변환하는 완전 합성곱 U-Net 기반 생성기인 SEANet을 채택해, 보청기처럼 지연과 연산 자원이 제한된 환경에서도 적용 가능한 구조를 설계했습니다. 학습 과정에서는 정상 청력을 모사한 CARFAC 출력과 각 피험자의 청력 손실에 맞춘 CARFAC 출력의 차이를 최소화하도록 네트워크를 조정했으며, 이때 손실 함수는 신경 활동 패턴(Neural Activity Pattern, NAP)과 안정화 청각 이미지(Stabilized Auditory Image, SAI)라는 두 가지 청각 표현을 기반으로 정의되었습니다. NAP은 시간 미세구조에 민감한 신경 반응을 직접 반영하고, SAI는 위상에 덜 민감하면서도 달팽이관 출력의 시간적 구조를 2차원적으로 안정적으로 포착한다는 점에서 서로 다른 보완적 정보를 제공합니다. 이러한 목적함수 아래에서 SEANet은 입력 신호를 정제하는 데 그치지 않고, 개인별 청력 손실 모델이 만들어내는 왜곡 자체를 보정하도록 학습됩니다. 그 결과 DAL로 최적화된 SEANet은 신경 표현 지표와 신호 충실도 지표 모두에서 기존 Master Hearing Aid(MHA) 기준선보다 우수한 성능을 보였다고 보고됩니다. 이 접근의 중요한 점은 청력 손실을 단순한 감쇠 문제가 아니라 달팽이관 수준의 부호화 왜곡으로 재정의했다는 데 있습니다. 다시 말해, DAL은 소리를 더 크게 만드는 보정이 아니라 청각 신경계가 실제로 받아들이는 표현 자체를 정상에 가깝게 복원하려는 방향으로 설계되었습니다. 또한 생물학적으로 타당한 청각 모델과 표현력이 높은 신경망을 결합함으로써, 기존의 다중 대역 이득 조절이나 압축만으로는 포착하기 어려운 비선형적이고 문맥 의존적인 보정을 학습할 수 있음을 보여줍니다. 저자들은 이 프레임워크가 더 복잡한 청력 손실 양상으로도 확장 가능한 모델-불가지론적 플랫폼이라고 설명하며, 향후 하드웨어 탑재와 실제 임상 시험으로 이어질 가능성을 제시합니다. 따라서 DAL은 하이퍼-개인화 보청기 설계가 단순한 처방 중심 방식을 넘어, 개별 청취자의 생물학적 특성에 맞춘 기계학습 기반 신호 처리로 발전할 수 있음을 보여주는 의미 있는 제안으로 볼 수 있습니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.