에픽어의 디지털 보존을 향하여: 저자원 아프리카 언어를 위한 텍스트 음성 변환
Towards Digital Preservation of Efik: TTS for a Low-Resource African Language
한국어 초록
에픽어(Efik)는 나이지리아 남동부에서 약 300만 명의 제2언어 화자와 150만 명의 원어민 화자가 사용하는 성조 언어로, 음성 합성 연구에서 여전히 과소 대표되고 있다. 본 연구는 에픽어에 대한 최초의 문서화된 엔드투엔드 텍스트 음성 변환(text-to-speech) 연구를 제시하며, 총 3시간 분량의 2,632개 발화로 구성된 단일 화자 코퍼스와 저자원 조건에서 네 가지 신경망 모델(VITS, MMS-TTS, SpeechT5, Orpheus-TTS)에 대한 비교 평가를 소개한다. 원어민 화자들이 MOS, Nat-MOS, A-MOS를 사용하여 시스템을 평가하였다. MMS-TTS는 3.80 ± 0.63으로 가장 높은 MOS를 달성하였고 장문 음성에서 더 안정적인 결과를 보였으나, 성조 오류는 지속적으로 나타났다. 다른 모델들은 성조 및 운율 측면에서 더 큰 불일치를 보였다. 이러한 결과는 재현 가능한 기준선(baseline)을 제공하며, 성조를 가진 아프리카 언어를 위한 더 큰 코퍼스와 성조 인식 모델링의 필요성을 부각시킨다.
원문 초록
Efik, a tonal language spoken by about 3 million second language speakers and 1.5 million native speakers in Southeastern Nigeria, remains underrepresented in speech synthesis research. We present the first documented end-to-end text-to-speech study for Efik, introducing a curated single speaker corpus of 2,632 utterances totaling three hours and a comparative evaluation of four neural models (VITS, MMS-TTS, SpeechT5, and Orpheus-TTS) under low resource conditions. Native speakers evaluated the systems using MOS, Nat-MOS, and A-MOS. MMS-TTS achieved the highest MOS of 3.80 +/- 0.63 and produced more stable long form speech, though tonal errors persisted. Other models showed greater tonal and prosodic inconsistencies. These results provide a reproducible baseline and highlight the need for larger corpora and tone aware modeling for tonal African languages.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.04515v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
LLM 기반 ASR 시스템에서 합성 음성을 활용하는 방법
How to Leverage Synthetic Speech for LLM-Based ASR Systems?
금융 및 의료와 같이 규제된 도메인에서는 개인정보 보호 제약으로 인해 실제 음성을 수집하고 보관하는 비용이 크기 때문에, 민감한 고객 녹음을 노출하지 않고 자동 음성 인식(ASR)을 학습하기 위한 대안으로 최신 텍스트 음성 변환(TTS)의 합성 음성이 매력적인 선택지가 된다. 그러나 합성 데이터와 실제 데이터 사이의 지속적인 분포적 격차는 합성 음성이 실제 녹음을 대체할 수 있는 범위를 제한한다. 기존 연구들은 이 격차를 주로 엔지니어링으로 극복해야 할 블랙박스로 다루었지만, 본 연구에서는 SLAM-ASR 아키텍처를 분석하여 그 원인을 직접 규명한다. LLM 백본이 실제 음성과 합성 음성을 분리하는 위치를 파악한 결과, 판별 신호가 초기~중간 층에 집중되어 있으며, 이 층에서 시간적 및 운율적 섭동이 가장 큰 영향을 미치는 것을 발견했다. 나아가 표현 수준의 분리가능성이 도움이 되기는 하지만, 하류 ASR 성능 향상을 직접적으로 예측하지는 않음을 보였다. 반면, 실내 충격 응답(RIR)과 합성 음성을 합성곱 처리하면 합성 음성을 더 깨끗하거나 자연스럽게 들리게 만드는 방식이 아닌, 실제 녹음의 음향적 불규칙성을 재현함으로써 격차를 좁힌다. 이러한 발견을 학습 절차에 적용하여, 층 선택 모듈과 RIR 증강을 결합하면 실제 음성의 25%만(13.6시간)으로도 완전한 실제 데이터 기준선에 필적하며, 더 높은 비율에서는 기준선을 상회한다.
합성 음성만 있을 때: GRPO를 선택하라
When Synthetic Speech Is All You Have: Better Call GRPO
은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.
BlueMagpie-TTS: 대만 억양 코드 스위칭 음성을 위한 토큰 효율적 토크나이저, 언어 모델 및 TTS
BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech
기성 TTS 시스템은 대만 만다린에 제대로 적응되어 있지 않다. 이 시스템들은 억양이 다른 만다린 변형으로 기본 설정되어 있고, 토크나이저는 일반적인 대만 텍스트를 과도하게 분절하며, 중국어와 영어가 하나의 발화 내에서 교차하는 코드 스위칭 경계에서 발음 품질이 저하된다. 이러한 문제들은 하나의 근본 원인을 공유한다: 텍스트 측면에서 대만 맥락에 대한 적응이 부족하다는 것이다. 우리는 텍스트 측면을 근본부터 해결한다. 대만 맥락 데이터로 학습된 바이트 수준 BPE 토크나이저인 PangolinTokenizer는 9개의 토크나이저 중 가장 작은 어휘로 가장 낮은 토큰 비율(0.485 토큰/문자)을 달성한다. PangolinTokenizer로 학습된 수십억 매개변수 규모의 번체 중국어 언어 모델인 Barbet은 텍스트-의미 프론트엔드로 기능하며, 14개 태스크 평가에서 비교 가능한 공개 모델 중 1위를 차지한다. BlueMagpie-TTS는 학습된 브리지를 통해 Barbet을 VoxCPM2의 사전학습된 음향 스택에 연결하며, 음향 스택은 고정된 상태로 유지한다. 1,000문장으로 구성된 대만 현지화 테스트 세트에서, 문자 오류율(CER)을 11.45%에서 4.81%로, 단어 오류율(WER)을 14.83%에서 5.36%로 낮추어 각각 58.0%, 63.9%의 상대적 감소를 달성한다. 이 문장 중 500개에 대해 10명의 청취자를 대상으로 한 블라인드 청취 연구에서, 다수결 투표의 65.6%가 BlueMagpie-TTS를 선호하였다.
LuxSQA: TTS 증강 음성 질의응답으로 룩셈부르크어로 질문하기
LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering
음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.
DuplexChat: 구어체 대화 언어 모델링을 위한 화자 분리 전이중(Full-Duplex) 대화 음성의 대규모 구축
DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
전이중(full-duplex) 구어체 대화 모델은 각 화자가 별도의 스트림으로 표현된 대화 음성으로 학습되지만, 기존의 대규모 공개 음성 코퍼스는 대부분 단일 채널(monaural)로 구성되어 있어 구어체 대화 언어 모델(SDLM) 학습에 적합하지 않다. 본 논문에서는 전이중 구어체 대화 모델을 위한 오픈소스 코퍼스인 DuplexChat과, 공개 팟캐스트 피드로부터 화자 분리 전이중 대화 음성을 구축하는 파이프라인인 DuplexChat-Pipe를 제안한다. DuplexChat-Pipe는 언어별 팟캐스트 피드를 필터링하고, 에피소드 오디오를 수집 및 정제하며, 화자 다이어리제이션(diarization) 기반의 2인 대화 클립을 추출하고, 음성 분리 및 복원을 적용하여 화자별 단일 채널을 생성한다. 이 파이프라인을 실행한 결과, 영어 282,634시간과 일본어 132,723시간을 포함하는 화자 분리 구어체 대화 코퍼스가 생성되었다. DuplexChat에 대한 분석 결과, 해당 코퍼스에는 인간 대화에서 나타나는 턴테이킹(turn-taking) 역학이 포함되어 있음을 확인하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.