arXiv:2606.30237v2 cs.CL

네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구

Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study

Yuanyuan Zhang, Dimme de Groot, Jorge Martinez, Odette Scharenborg

제출 2026-11-16

한국어 초록

개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.

원문 초록

In our goal to develop personalised dysarthric speech recognition (DSR) models, this study compared the recognition performances of human listeners and those of three state-of-the-art, off-the-shelf ASR systems (Whisper-large-V3, Google Chirp 3, and Omnilingual) on the recognition of Dutch continuous read and spontaneous speech from a single speaker with severe dysarthria. Results showed that both humans listeners and the three off-the-shelf ASR systems exhibit word error rates (WER) exceeding 70% on average, indicating that DSR is highly challenging for both humans and ASR systems. Fine-tuning on the dysarthric speech significantly reduced WER. Although overall WERs are still quite high (>23%), the personalised DSR models outperformed the human listeners, and performance is getting closer to being useful for supporting day-to-day communication of dysarthric speakers. Future research should focus on improving personalized DSR on spontaneous speech and longer utterances in the case of read speech, with a specific focus on particular phonemes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.30237v2제출 시각 미확인
  2. arXiv:2606.30237v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03207v1cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, automatic speech recognition asr, dysarthric speech

S-DiverSe: 스페인어 다양한 음성 데이터셋

S-DiverSe: Spanish Diverse Speech

자동 음성 인식(ASR)은 표준 음성에 대해 눈에 띄게 발전했지만, 신경학적 질환의 영향을 받은 음성은 여전히 도전 과제로 남아 있다. 본 논문에서는 근위축성 측삭 경화증(ALS), 파킨슨병, 뇌졸중을 가진 22명의 화자로부터 수집된 3.2시간 분량의 실환경 스페인어 음성 코퍼스인 S-DiverSe(Spanish Diverse Speech)를 소개한다. 이 데이터셋은 화자 성별, 질환 유형, 명료도에 대한 메타데이터와 함께 수동으로 전사된 444개의 오디오 세그먼트를 포함한다. S-DiverSe는 신경학적 영향을 받은 스페인어 음성에 대한 ASR 평가 및 개발을 지원하도록 설계되었다. 본 논문에서는 데이터셋을 기술하고, 그 구성을 분석하며, 초기 적응 실험과 함께 기준선 ASR 결과를 보고한다. 실험 결과, 도메인 외 신경학적 스페인어 음성에 대해 휴리스틱 텍스트 후처리가 미세조정보다 더 강건한 것으로 나타났다. 이는 실환경 전용 스페인어 벤치마크의 필요성을 강조한다.

arXiv:2606.31722v1cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, automatic speech recognition asr, dysarthric speech

기초 ASR 모델의 마비말장애 음성 적응: 사례 연구

Adapting Foundation ASR Models to Dysarthric Speech: A Case Study

자동 음성 인식(ASR) 시스템은 마비말장애(dysarthric) 음성에서 성능이 저하되는 경우가 많아, 영향을 받는 화자의 일상 의사소통에서 유용성이 제한된다. 본 논문은 기초 ASR 모델을 화자별 데이터에 적응시켜 마비말장애 화자를 위한 개인화된 ASR 시스템을 구축한 사례를 제시한다. TEQST 도구를 활용하여 92시간의 낭독 음성을 수집하였으며, 이후 배포된 모바일 애플리케이션을 통해 수집된 8.8시간의 사용자 교정 데이터를 추가하였다. Whisper를 기반으로 미세조정을 수행한 결과, 1.4시간의 적응 데이터만으로 단어 오류율(WER)이 15.8%로 감소하였고, 22.5시간에서는 10.7%에 도달하였으며, 교정 데이터를 포함한 모든 가용 데이터를 사용하였을 때 9.7%의 최고 성능을 달성하였다. LoRA 적응 및/또는 Qwen3-ASR을 기초 모델로 사용하는 방식은 이 설정에서 더 낮은 성능을 보였다. 본 연구 결과는 개인화된 미세조정이 기초 ASR 모델을 마비말장애 음성에 대해 실질적으로 더 효과적으로 만들고 실용적인 배포에 적합하게 할 수 있음을 보여준다.

arXiv:2607.09598v2cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, automatic speech recognition asr

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, automatic speech recognition asr

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.05364v2cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, automatic speech recognition asr

REDDIT: 리플레이 기반 분포 편집을 통한 ASR 모델 생성 타임스탬프 드리프트의 망각 없는 교정

REDDIT: Correcting Model-Generated Timestamp Drift in ASR without Forgetting via Replay-Based Distribution Editing

현대의 자기회귀(autoregressive) 자동 음성 인식(ASR) 시스템은 디코딩된 토큰으로 타임스탬프를 출력할 수 있으며, 이를 통해 프레임 수준 정렬기나 추론 시 후처리 없이도 타임스탬프가 포함된 전사(transcription)가 가능하다. 본 연구에서는 이렇게 생성된 타임스탬프가 긴 비음성(non-speech) 구간에 걸쳐 드리프트될 수 있음을 보인다: 전사 결과는 그럴듯하게 보일 수 있지만, 디코딩된 시간 축이 실제 오디오에서 멀어진다. 우리는 자체 구축한 gap 및 long-gap 벤치마크를 사용하여, 타임스탬프를 생성하는 15개의 ASR 및 오디오-언어 시스템에 대해 이 비음성 유발 타임스탬프 드리프트를 연구한다. 단순한 타임스탬프 교정 미세조정은 정렬을 개선하지만 비대상 ASR 동작을 심각하게 저하시킬 수 있으며, 이는 망각 문제를 드러낸다. 우리는 REDDIT(REplay-based Distribution eDITing)을 제안한다. 이는 타임스탬프를 교정하면서 파국적 망각(catastrophic forgetting)을 방지하는 경량 2단계 사후 학습 프레임워크로, 먼저 비타임스탬프 토큰에 대해 동결된 기반 분포에 맞추면서 모델 자체의 리플레이된 디코더 컨텍스트 하에서 타임스탬프 목표를 편집하고, 이후 짧은 편집된 접두 문맥(edited-prefix) 정제 단계를 적용한다. 이 프레임워크에서는 VAD로 트리밍된 음성 구간과 삽입된 비음성 구간 및 알려진 연결 오프셋을 결합하여, 인간 전사본이나 인간 타임스탬프 어노테이션 없이 교정 지도 학습 신호를 구성한다. Whisper-tiny에서, 34.9시간의 목적별 교정 오디오를 사용하고 모델 파라미터의 1.6%만 업데이트하여, long-gap mIoU를 38.7%에서 95.0%로 높이고 mixed-gap 도메인 외 AAS를 2752 ms에서 223 ms로 줄이면서, CV-en MER을 41.3%로 유지하였다(일반 SFT 디코더 튜닝의 524.2%와 비교).

arXiv:2607.10256v1cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, automatic speech recognition asr

어떤 언어가 Warlpiri에 가장 잘 전이되는가? 저자원 ASR을 위한 유사도 기반 연구

Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR

이 논문은 극도로 저자원인 환경에서 자동 음성 인식(ASR)의 교차 언어 전이를 개선하기 위해 언어 유사도를 활용하는 방법을 탐구한다. 호주 원주민 언어인 Warlpiri는 전사된 음성 데이터가 매우 제한적이어서 전이학습이 필수적이다. 본 연구는 사전학습된 음성 모델에서 도출한 음향 유사도와 유형론, 음소 목록, 문법적·통사적 특징에 기반한 언어학적 유사도를 결합하는 프레임워크를 제안하여, 고자원 소스 언어들의 순위를 산정하고 Warlpiri로의 ASR 전이에서 그 효과를 평가한다. Whisper를 이용한 실험에서 음향적·유형론적으로 유사한 언어들이 단일 언어 및 다국어 기준선을 능가하는 것으로 나타났다. 아삼어(Assamese)와 힌디어(Hindi)는 단어 오류율 및 문자 오류율에서 상당한 감소를 달성하였다. 상관관계 분석 결과, 음향 유사도가 미세조정 성능의 가장 강력한 예측 인자임이 확인되었으며, 음소 목록과 유형론적 유사도는 제로샷 전이를 더 잘 설명하는 것으로 나타났다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.