arXiv:2609.03502v1 cs.CL

합성 음성으로 고정 화자 태국어 TTS 구축 및 평가

Building and Evaluating Fixed-Voice Thai TTS from Synthetic Speech

Kunat Pipatanakul, Potsawee Manakul, Warit Sirichotedumrong, Sittipong Sripaisarnmongkol, Pakorn Nathong, Phatrasek Jirabovonvisut

제출 2026-09-03

한국어 초록

저자원 환경에서 TTS를 배포할 때는 일반적으로 추론 비용이 큰 대규모 음성 복제(voice-cloning) 모델과, 화자별 말뭉치가 필요한 소형 고정 화자(fixed-voice) 시스템 중 하나를 선택해야 한다. 본 연구는 세 번째 경로를 다룬다. 대규모 음성 복제 모델을 프로그래밍 가능한 데이터 소스로 사용해 짧은 음성 참조(예: 15초)만으로, 합성 음성만으로 학습한 소형 고정 화자 학생(student) 모델을 만드는 방법이다. 이 설정에서는 파이프라인 설계가 결과에 큰 영향을 미친다. 교사(teacher) 모델의 오류가 학습 목표가 되고, 실패한 생성물을 걸러내면 어려운 텍스트에 대한 커버리지가 줄어들 수 있다. 태국어는 모호한 단어 경계, 어휘 성조(lexical tone), 고유명·외래어, 숫자의 구어화(verbalization), 태국어-영어 코드 스위칭 등으로 추가적인 난제를 만든다. 텍스트 준비, 합성 생성, 품질 필터링, 거부 샘플링, 프론트엔드 선택이 최종 학생 모델에 어떻게 영향을 주는지, 교사 모델의 한계는 어디에 남는지를 분석한다. CER, Challenge-Set Keyword Accuracy, Prosody Pause Accuracy, 화자 유사도, 발화 속도를 평가한다. 그 결과 8200만 매개변수 모델 Wayu-Paxa-TTS-Edge는 참조 오디오 없이 온디바이스 태국어 TTS를 가능하게 한다. Challenge-Set Keyword Accuracy 68.2%(Gemini 3.1의 85.5%), pause 정밀도 91.4%를 달성하며, OmniVoice 교사 모델의 pause 정밀도(89.9%)를 넘고 Gemini 3.1의 94.8%에 이른다. 또한 세 시스템 중 pause 배치 오류와 단어 내 pause 비율이 가장 낮고, 태국어·영어 CER은 각각 3.7%, 1.1%이다. 태국어 TTS 개발을 위해 모델과 평가 프레임워크를 오픈소스로 공개한다.

원문 초록

In low-resource settings, deploying TTS typically requires choosing between a large voice-cloning model with costly inference or a compact fixed-voice system that requires a speaker-specific corpus. We study a third route: using a large voice-cloning model as a programmable data source to turn a short voice reference (e.g., 15 seconds) into a compact fixed-voice student trained entirely on synthetic speech. This setting makes pipeline design consequential: teacher errors become training targets, while filtering failed generations can reduce coverage of difficult texts. Thai further introduces challenges from ambiguous word boundaries, lexical tone, names and loanwords, numeric verbalization, and Thai-English code-switching. We study how text preparation, synthetic generation, quality filtering, rejection sampling, and frontend choices affect the resulting student, and where teacher limitations remain. We evaluate CER, Challenge-Set Keyword Accuracy, Prosody Pause Accuracy, speaker similarity, and speaking rate. The resulting 82M-parameter model, Wayu-Paxa-TTS-Edge, enables on-device Thai TTS without reference audio. It achieves 68.2% Challenge-Set Keyword Accuracy (85.5% of Gemini 3.1) and 91.4% pause precision, outperforming its OmniVoice teacher (89.9%) and reaching 94.8% of Gemini 3.1. It also achieves the lowest pause-placement error and intra-word pause rates among the three systems, and 3.7% and 1.1% CER on Thai and English, respectively. We open-source the model and evaluation framework for Thai TTS development.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.03502v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.