이음증(dysarthric) 음성 인식에 대한 체계적 연구: 스펙트럼 특징 및 음향 모델
Systematic Study of Dysarthric Speech Recognition: Spectral Features and Acoustic Models
한국어 초록
이음증(dysarthric) 음성 인식의 어려움은 주로 조음 정밀도 저하로 인한 두드러진 음향 변동성에서 비롯됩니다. 기존 연구에서는 하이브리드 DNN/HMM 시퀀스 판별 학습(sequence discriminative training)을 사용하여 인식 성능이 향상됨을 입증했습니다. 본 논문은 서로 다른 음향 모델에 맞춰진 다양한 음향 특징 조합에 대한 포괄적인 조사를 제시하며, 각 모델에 적합한 특징 선택을 제안합니다. 피치(Pitch) 특징을 통합하면 인식 성능이 크게 향상되었으며, 특히 이음증 음성이 포함된 문장 인식 작업에서 그 효과가 두드러졌습니다. TORGO 데이터베이스에 대한 체계적인 검토를 통해, 이음증 음성 인식을 위한 최첨단 인자화 시간 지연 신경망(F-TDNN) 모델의 성능을 향상시킬 잠재력을 입증했습니다. F-TDNN 모델을 통해 구현된 우리의 방법은 기존 연구 대비 이음증 음성의 고립 단어 인식에서 4.65%, 문장 인식에서 4.63%의 상대적 성능 향상을 이끌어냈습니다. 이러한 성능 향상은 연속적인 학습 예제 청크 간의 중첩 프레임 수를 의도적으로 선택함으로써 음성 변동성을 효과적으로 보상한 결과입니다.
원문 초록
The challenge associated with recognizing dysarthric speech primarily arises from pronounced acoustic variability attributed to impaired articulatory precision. Past research has demonstrated improved recognition through the use of hybrid DNN/HMM sequence discriminative training. This paper presents a comprehensive investigation of various combinations of acoustic features tailored to different Acoustic Models, offering suitable feature selections for each. The incorporation of Pitch features notably improved recognition performance, especially for sentence recognition tasks involving dysarthric speech. Through a systematic examination of the TORGO database, we have demonstrated the potential to enhance the performance of the state-of-the-art Factorized Time Delay Neural Network (F-TDNN) model for recognizing dysarthric speech. Our methods, implemented with the F-TDNN model, resulted in a 4.65\% relative improvement in isolated word recognition and a 4.63\% relative improvement in sentence recognition for dysarthric speech, compared to previous research. This improvement effectively compensates for speech variability, attributable to our deliberate selection of the number of overlapping frames between consecutive training example chunks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19793v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구
Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study
개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.
S-DiverSe: 스페인어 다양한 음성 데이터셋
S-DiverSe: Spanish Diverse Speech
자동 음성 인식(ASR)은 표준 음성에 대해 눈에 띄게 발전했지만, 신경학적 질환의 영향을 받은 음성은 여전히 도전 과제로 남아 있다. 본 논문에서는 근위축성 측삭 경화증(ALS), 파킨슨병, 뇌졸중을 가진 22명의 화자로부터 수집된 3.2시간 분량의 실환경 스페인어 음성 코퍼스인 S-DiverSe(Spanish Diverse Speech)를 소개한다. 이 데이터셋은 화자 성별, 질환 유형, 명료도에 대한 메타데이터와 함께 수동으로 전사된 444개의 오디오 세그먼트를 포함한다. S-DiverSe는 신경학적 영향을 받은 스페인어 음성에 대한 ASR 평가 및 개발을 지원하도록 설계되었다. 본 논문에서는 데이터셋을 기술하고, 그 구성을 분석하며, 초기 적응 실험과 함께 기준선 ASR 결과를 보고한다. 실험 결과, 도메인 외 신경학적 스페인어 음성에 대해 휴리스틱 텍스트 후처리가 미세조정보다 더 강건한 것으로 나타났다. 이는 실환경 전용 스페인어 벤치마크의 필요성을 강조한다.
기초 ASR 모델의 마비말장애 음성 적응: 사례 연구
Adapting Foundation ASR Models to Dysarthric Speech: A Case Study
자동 음성 인식(ASR) 시스템은 마비말장애(dysarthric) 음성에서 성능이 저하되는 경우가 많아, 영향을 받는 화자의 일상 의사소통에서 유용성이 제한된다. 본 논문은 기초 ASR 모델을 화자별 데이터에 적응시켜 마비말장애 화자를 위한 개인화된 ASR 시스템을 구축한 사례를 제시한다. TEQST 도구를 활용하여 92시간의 낭독 음성을 수집하였으며, 이후 배포된 모바일 애플리케이션을 통해 수집된 8.8시간의 사용자 교정 데이터를 추가하였다. Whisper를 기반으로 미세조정을 수행한 결과, 1.4시간의 적응 데이터만으로 단어 오류율(WER)이 15.8%로 감소하였고, 22.5시간에서는 10.7%에 도달하였으며, 교정 데이터를 포함한 모든 가용 데이터를 사용하였을 때 9.7%의 최고 성능을 달성하였다. LoRA 적응 및/또는 Qwen3-ASR을 기초 모델로 사용하는 방식은 이 설정에서 더 낮은 성능을 보였다. 본 연구 결과는 개인화된 미세조정이 기초 ASR 모델을 마비말장애 음성에 대해 실질적으로 더 효과적으로 만들고 실용적인 배포에 적합하게 할 수 있음을 보여준다.
MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.
OLIVE: 음성 자기지도학습을 위한 뷰 증강 잠재 예측과 파형 재구성
OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL
우리는 분석과 합성 목적을 함께 최적화하는 자기지도 음성 표현 학습 프레임워크인 OLIVE(Online Latent prediction with Invariant Views and rEconstruction)를 제안한다. OLIVE는 단일 인코더 내의 기능적 분리를 통해 마스킹된 잠재 예측과 파형 복원을 결합한다. 복원은 인코더의 초기 특징이 신호 수준의 정보를 유지하도록 제약하고, 마스킹된 잠재 예측은 강건한 하위 작업 성능을 위해 이후의 문맥 표현을 형성하며, 파형 뷰 증강은 이들이 학습하는 불변성을 정의한다. 우리가 아는 한, OLIVE는 파형을 직접 복원하고, 사전학습 후에도 보코더를 유지하며, 판별 과제에서도 경쟁력을 갖는 최초의 음성 SSL 모델이다. 복원을 추가해도 마스킹된 잠재 예측만 사용할 때의 음성 인식 성능은 대체로 유지되면서, 파형 복원과 화자 관련 과제는 향상된다. 파형 mixup과 이득 증강을 추가하면 표현을 화자, 생성, 복원 과제 쪽으로 더 이동시키는 제어 가능한 방법을 제공하면서도 인식 및 의미 과제에서 경쟁력을 유지한다.
SpeechEQ: 사회적 인식을 갖춘 음성 대화 모델의 감성 지능 지수 벤치마킹
SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models
멀티모달 대화 시스템이 음성 상호작용에 점점 더 많이 참여함에 따라, 준언어적 사회 신호를 다루는 능력이 자연스러운 인간-AI 소통의 핵심 병목이 되었다. 그러나 기존의 기계 감성 지능 평가는 고립된 텍스트나 수동적인 음향 인식을 통해서만 추론을 평가하여, 능동적인 다중 턴 대화에 필요한 복잡한 교차 모달 추론을 간과한다. 우리는 음성-언어 모델(SLM)의 사회언어학적 추론을 평가하기 위해 설계된 포괄적 프레임워크인 \textsc{SpeechEQ}를 소개한다. 이 프레임워크는 EQ-i 2.0 이론에 기반한 15개 감성 지능(EQ) 하위 척도에 걸친 2,265개 대화로 구성된 검증된 데이터셋과, 인간 EQ 평가에서 착안하여 제안한 음성 EQ(SEQ) 점수로 측정되는 다중 턴 평가 프로토콜을 포함한다. 실험은 기존 음성 감정 인식과 종단간 음성-언어 모델 모두가 음성을 통한 준언어적 단서를 이해하고 적용하는 방식에 한계가 있음을 보여준다. 종단간 아키텍처가 캐스케이드 시스템보다 우수하지만, \textsc{SpeechEQ}는 현재의 멀티모달 모델이 텍스트에 의존하는 ``모달리티 지름길'', 정렬로 인해 유발되는 ``안전 함정'', 그리고 ``맥락 건망증''에 여전히 병목이 있음을 드러내며, 진정으로 감성을 인식하는 AI로 나아가는 데 장벽이 있음을 부각한다. 우리의 벤치마크는 https://huggingface.co/datasets/SpeechEQ/SpeechEQ 에서, 데모 페이지는 https://speecheq.github.io 에서 접근할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.