arXiv:2610.08827v1 cs.CL

성인 음성 성능 유지를 고려한 아동 음성 인식 적응: 실증적 연구

Child ASR Adaptation with Adult Retention: An Empirical Study

Houssam Eddine-Othman Lachemat, Shammur Absar Chowdhury

제출 2026-09-25

저자 비고

arXiv Comments

long paper

한국어 초록

자동 음성 인식(ASR) 시스템은 아동 및 비원어민 화자에 대해 성능이 저하되는 경우가 많으며, 성인 음성 인식 모델을 아동 음성에 적응시키면 성인 음성에 대한 망각이 발생할 수 있습니다. 본 연구에서는 아랍어와 영어를 대상으로 성인 음성 인식 성능을 유지하면서 아동 음성 인식에 적응하는 방법을 연구합니다. 인코더-디코더, 인코더-CTC, AudioLLM 기반 음성 인식 시스템 전반에서 전체 미세조정(full fine-tuning), LoRA, 그리고 사후 가중치 공간 병합(weight-space merging)을 비교합니다. 실험에는 아랍어 원어민 및 비원어민 아동 음성, 영어 MyST 아동 음성, 그리고 MGB-2 및 LibriSpeech test-clean의 성인 벤치마크를 사용합니다. 단어 오류율(WER)로 인식 품질을 평가하고, 유지 지수(Retention Index), 아동 적응 이득(Child Adaptation Gain), 적응 회복도(Adaptation Recovery)를 사용하여 적응과 유지 간의 트레이드오프를 정량화합니다. 실험 결과, 특히 비원어민 아랍어 및 영어 아동 음성에서 아동 적응이 필수적이지만 직접적인 적응은 성인 ASR 성능을 저하시키는 경우가 많음을 보여줍니다. 이중언어 적응은 단일 언어 적응보다 더 안정적입니다. 가중치 공간 병합은 특히 인코더-CTC, Whisper, AudioLLM 기반 ASR에서 트레이드오프를 개선하는 경우가 많으며, LERP는 성인 성능 유지에 유리하고 TIES는 더 강력한 아동 음성 성능 향상을 회복합니다. 인코더-디코더 모델의 경우 직접적인 이중언어 미세조정이 순수 WER 측면에서 여전히 가장 우수합니다.\footnote{코드와 모델은 https://github.com/qcri/Child-ASR-Adaptation 에서 확인할 수 있습니다.}

원문 초록

Automatic Speech Recognition (ASR) systems often underperform for children and non-native speakers, while adapting adult ASR models to child speech can cause adult-speech forgetting. We study child ASR adaptation with adult retention across Arabic and English. We compare full fine-tuning, LoRA, and post-hoc weight-space merging across encoder--decoder, encoder--CTC, and AudioLLM-based ASR systems. Experiments use Arabic native and non-native child speech, English MyST child speech, and adult benchmarks from MGB-2 and LibriSpeech test-clean. We evaluate recognition quality with WER and quantify the adaptation--retention trade-off using Retention Index, Child Adaptation Gain, and Adaptation Recovery. Results show that child adaptation is necessary, especially for non-native Arabic and English child speech, but direct adaptation often reduces adult ASR performance. Bilingual adaptation is more stable than language-specific adaptation. Weight-space merging often improves the trade-off, especially for encoder--CTC, Whisper, and AudioLLM-based ASR, with LERP favoring adult retention and TIES recovering stronger child gains. For the encoder--decoder model, direct bilingual fine-tuning remains strongest in raw WER.\footnote{Code, and models are available at https://github.com/qcri/Child-ASR-Adaptation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08827v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.