arXiv:2606.18645v1 eess.AS

MOS 지도를 통한 구음장애 발화 중증도 평가 보강

Augmenting Dysarthric Speech Severity Assessment with MOS Supervision

Kaimeng Jia, Minzhu Tu, Zengrui Jin, Siyin Wang, Chao Zhang

제출 2026-06-17

한국어 초록

구음장애는 명료성과 의사소통 효율성이 저하되는 것이 특징인 발화 장애입니다. 구음장애 발화의 자동 발화 수준 평가는 확장 가능한 발화 모니터링과 치료 관련 분석을 지원할 수 있습니다. 그러나 이러한 시스템의 학습은 임상적으로 주석이 달린 구음장애 발화 데이터의 부족으로 인해 병목 현상을 겪습니다. 본 연구는 음성 합성 평가 데이터, 구체적으로 QualiSpeech 말뭉치의 평균 의견 점수(MOS) 라벨이 포함된 인간 주석 발화를 사용하여 구음장애 발화 평가를 보강하는 방법을 제안합니다. 실험 결과, 음성 합성 평가 데이터에 대한 미세조정은 명료성 및 자연스러움 예측 모두에서 성능을 일관되게 향상시키는 반면, 공동 학습은 주로 자연스러움에서 이득을 얻는 것으로 나타났습니다. 이러한 결과는 합성 인공물(artifact)과 구음장애 발화가 지각적 공통점을 공유하며, 음성 합성 평가 말뭉치가 희소한 임상 주석에 대한 의존도를 줄이는 실용적인 보강 소스가 될 수 있음을 시사합니다.

원문 초록

Dysarthria is a speech disorder marked by reduced intelligibility and communicative effectiveness. Automatic utterance-level assessment of dysarthric speech can support scalable speech monitoring and therapy-related analysis. Yet training such systems is bottlenecked by the scarcity of clinically annotated dysarthric speech. This work proposes to augment dysarthric speech assessment using data from speech synthesis evaluations, specifically human-annotated utterances with Mean Opinion Score (MOS) labels from the QualiSpeech corpus. Experiments show that fine-tuning on speech synthesis assessment data consistently improves performance on both intelligibility and naturalness prediction, while joint training yields gains primarily on naturalness. These results suggest that synthesis artifacts and dysarthric speech share perceptual commonalities, and speech synthesis evaluation corpora offer a practical augmentation source that reduces reliance on scarce clinical annotations.

요약

임상 주석이 부족한 구음장애 발화 심각도 평가를 QualiSpeech 말뭉치의 평균 의견 점수(MOS) 기반 음성 합성 평가 데이터로 보강하는 방법을 제안하며, SSL 인코더 기반 회귀 모델에 공동 학습 또는 파인튜닝으로 지각적 감독을 이전한다. 실험에서 합성 평가 데이터 파인튜닝은 명료성과 자연스러움 예측을 모두 일관되게 향상시키고 공동 학습은 주로 자연스러움에서 이득을 보여, 합성 인공물과 구음장애 발화가 지각적 공통점을 공유함을 시사한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18645v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13995v2cs.AI공통 태그 Data Augmentation, Diagnostic

마케팅 연구에서의 합성 데이터: 평가 방법과 신뢰할 수 있는 시점

Synthetic Data in Marketing Research: How to Evaluate and When to Trust

마케팅 연구에서 합성 데이터(synthetic data)에 대한 논쟁은 대규모 언어 모델(LLM)이 인간 응답자를 불필요하게 만든다는 주장과 이를 전면 배제해야 한다는 요구 사이에서 양극화되어 왔습니다. 우리는 두 입장 모두 합성 응답자가 효과가 있는지 여부가 아니라 '언제' 효과가 있는가라는 더 유용한 질문을 흐린다고 주장합니다. Brand, Israeli, and Ngwe (2026)를 기반으로 하여, 본 연구는 세 가지 기여를 제시합니다. 첫째, 세 가지 유형의 합성 데이터(비그라운딩 LLM 응답, 세그먼트 수준 페르소나, 개인 수준 디지털 트윈)를 구분하고 각각이 지원할 수 있는 의사결정과 매핑합니다. 둘째, 정확도 측정 항목을 네 가지 계열의 분류 체계로 정립하고, 거의 완벽한 수준에서 무작위 확률 수준에 이르기까지 보고된 트윈 정확도의 넓은 범위가 방법론의 질적 차이라기보다는 주로 무엇을 측정하고 있는가의 차이를 반영한다는 점을 시사합니다. 집계 측정 지표는 LLM에 제공된 정보가 거의 없을 때도 좋은 성능을 보이는 경우가 많으며, 응답자 수준의 변별력이 전혀 존재하지 않는 현상을 가릴 수 있습니다. 셋째, 현장 연구에서 질문이 누락되는 '누락된 질문 문제(forgotten question problem)'를 기존 데이터를 트윈 기반으로 증강하는 설정으로 도입합니다. 우리는 그라운드 트루스(ground truth)가 필요 없는 사전 답변 가능성 진단법으로, 트윈을 구축하는 데 사용된 데이터로부터 트윈의 출력을 예측하는 랜덤 포레스트의 R^2을 제안합니다. 전국 대표 표본 설문조사(N = 3,063)의 108개 태도 질문 전반에서 R^2 > 0.7 기준으로 스크리닝하면 트윈-인간 간 개인 수준 평균 상관관계가 15% 상승하고 잘못 답변된 질문의 비율이 25.9%에서 4.3%로 감소합니다. 임베딩 유사도와 숙련된 연구자의 판단 또한 상관관계가 있는 스크리닝 기준을 제공하지만 상대적으로 효과가 더 약합니다.

arXiv:2607.22794v1cs.LG공통 태그 Speech Recognition, Diagnostic

우울증 탐지를 위한 멀티모달 도메인 일반화: 어텐션 기반 BiLSTM 네트워크와 도메인 적대적 학습

Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training

심층 학습을 이용한 자동 우울증 탐지는 유망한 결과를 보여왔지만, 화자 간 변동성에서 기인하는 도메인 시프트(domain shift)로 인해 일반화가 제한되는 경우가 많다. 이러한 중요한 문제를 해결하기 위해, 우리는 도메인 일반화(DG)를 통합한 최초의 환자 독립적 멀티모달 우울증 탐지 프레임워크를 제안하며, 음향 및 텍스트 모달리티를 공동으로 활용한다. 제안 모델은 양방향 장단기 메모리(BiLSTM)와 모달 내 및 교차 모달 어텐션 메커니즘을 통합하고, 의사결정을 위해 세그먼트 수준 융합을 수반한다. 일반화는 신경망의 도메인 적대적 학습(DANN)에서 영감을 받은 그래디언트 역전 층을 적용하여 더욱 향상되며, 이는 모델이 개별 화자를 식별하는 능력을 적대적으로 제한함으로써 도메인 불변 표현을 촉진하고, 효과적으로 환자 특이적 바이어스를 줄인다. Androids-Corpus 데이터셋에서 5-겹 교차 검증(CV) 프로토콜로 실험을 수행하여, 다양한 세그먼트 길이에 걸쳐 오디오 및 텍스트 특징 추출기의 다양한 조합을 평가했으며, 30초 세그먼트 길이에서 MelSpec과 ItalianBERT를 최적 기준선으로 확인했다. 이 기준선에 DG를 추가하면 정확도가 2.5%, F1 점수가 3.3% 향상되어, 정확도 93.2%, 정밀도 93.2%, 재현율 96.2%, F1 점수 94.2%를 달성하며 기존의 모든 벤치마크를 능가한다. 광범위한 ablation 연구를 통해 멀티모달 융합, 심층 아키텍처 선택, DG의 영향을 평가하고, 이들이 견고하고 일반화 가능한 우울증 탐지에 기여하는 결합적 효과를 강조한다.

arXiv:2607.22304v1cs.LG공통 태그 Data Augmentation, Diagnostic

합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.

arXiv:2607.21496v1eess.SP공통 태그 Automatic Speech Recognition, Diagnostic

음성 기반 멀티모달 대규모 언어 모델을 활용한 일반화 가능한 인지 장애 탐지

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

인지 장애(CI)는 점점 증가하는 공중 보건 문제이다. 조기에 정확하게 진단하는 것은 적시 개입을 가능하게 하고 환자 결과를 개선하는 데 매우 중요하다. 음성 기반 CI 탐지는 인지 저하와 관련된 언어적·음향적 표지를 모두 음성 신호가 담고 있기 때문에 유망한 비침습적 접근법으로 떠오르고 있다. 대규모 언어 모델(LLM)의 최근 발전은 더 표현력 있는 표현 학습(representation learning)과 다양한 화자, 녹음 장치, 임상 환경에 걸친 일반화(generalization) 개선을 가능하게 함으로써 음성 기반 평가의 잠재력을 더욱 강화한다. 또한 언어적 특징과 음향적 특징을 공동으로 모델링하는 멀티모달 학습은 CI와 관련된 인지 및 행동 변화를 더 포괄적으로 특성화할 수 있게 하여 더 신뢰할 수 있는 탐지로 이어진다. 본 연구에서는 환자 프라이버시를 보존하면서 음성 오디오와 해당 전사문을 통합하는 오픈소스 LLM 기반 멀티모달 CI 탐지 프레임워크를 제안한다. 음향 임베딩(embedding)은 음성 신호에서 직접 추출되고, 텍스트 임베딩은 자동 전사된 음성으로부터 생성된다. 이러한 모달리티별 임베딩은 이어 결합되어 결합 특징 벡터를 만들고, 원시 또는 민감한 환자 데이터에 접근할 필요 없이 하류 분류에 사용된다. 제안 접근법은 ADReSS20 및 ADReSSo21 벤치마크 데이터셋에서 평가된다. 실험 결과, 제안된 멀티모달 프레임워크는 CI 분류 정확도 92.4%를 달성하며 단일 모달리티 베이스라인을 일관되게 능가한다. 본 연구는 CI 식별에 대한 새로운 최첨단(state-of-the-art) 수준을 확립하며, 제안 방법은 우수한 교차 데이터셋 일반화를 보여준다. 이 발전은 언어적·음향적 데이터를 융합하여 견고하고 확장 가능하며 비침습적인 선별검사를 가능하게 하는 LLM 기반 멀티모달 프레임워크의 힘을 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.