합성 의사 방언 증강을 활용한 방언에 강건한 음성 언어 모델
Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
한국어 초록
음성 언어 모델(SLM)의 성능은 데이터 부족으로 인해 방언에서 저하되는 경우가 많습니다. 기존의 텍스트 음성 변환(TTS) 증강은 일정량의 실제 방언 음성을 필요로 하기 때문에 다양한 방언을 포괄하는 데 어려움을 겪습니다. 본 논문에서는 대규모 언어 모델(LLM)이 생성한 방언 텍스트를 표준어 TTS 모델로 변환하여 실제 방언 음성을 전혀 필요로 하지 않는 의사 방언(pseudo-dialect) 음성 합성 방식을 제안합니다. 또한 학습(training) 중 중간 표준 텍스트 예측을 도입하여 다운스트림 태스크를 위한 의미적 정규화(normalization) 역할을 수행하도록 합니다. 일본어, 독일어, 중국어 방언에 걸쳐 방언-영어 음성 번역을 통해 방언 이해도를 평가합니다. 합성된 표준 음성 베이스라인과 비교했을 때, 의사 방언 증강은 일본어(25.38에서 26.24로)와 독일어(31.57에서 32.47로)의 점수를 향상시켰습니다. 나아가 중간 표준 텍스트 예측은 의미적 격차를 효과적으로 해소하여 일본어 성능을 28.26으로, 중국어 성능을 11.67에서 16.37로 끌어올렸습니다. 이러한 결과는 제안하는 접근 방식이 각 방언에 특화된 음성 자원 없이도 다양한 언어로 확장될 수 있음을 시사합니다.
원문 초록
Speech Language Model (SLM) performance often degrades on dialects due to data scarcity. Conventional text-to-speech (TTS) augmentation struggles to cover diverse dialects as it requires a certain amount of real dialect speech. We propose synthesizing pseudo-dialect speech by converting LLM-generated dialect text via a standard-language TTS model, requiring zero real dialect speech. Additionally, we introduce intermediate standard-text prediction during training, acting as semantic normalization for downstream tasks. We evaluate dialect understanding via dialect-to-English speech translation across Japanese, German, and Chinese dialects. Compared to synthetic standard speech baselines, pseudo-dialect augmentation improves scores for Japanese (from 25.38 to 26.24) and German (from 31.57 to 32.47). Furthermore, the intermediate standard-text prediction effectively bridges the semantic gap, boosting performance to 28.26 for Japanese and from 11.67 to 16.37 for Chinese. These results suggest that our approach scales to various languages without requiring speech resources specific to each dialect.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
7 pages, 1 figure, 7 tables. Accepted to IEEE SLT 2026