arXiv:2607.06054v1 cs.SD

BlueMagpie-TTS: 대만 억양 코드 스위칭 음성을 위한 토큰 효율적 토크나이저, 언어 모델 및 TTS

BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech

Ho Lam Chung, Bo-Xuan Zheng, Cheng-Chieh Huang, Cheng-Han Chang, Jung-Ching Chen, Lok-Lam Ieong, Ting-Lin Hsiao, Yu-Cheng Lee, Yi-Hsin Chung, Yu-Kai Guo, Hung-yi Lee

제출 2026-07-07

한국어 초록

기성 TTS 시스템은 대만 만다린에 제대로 적응되어 있지 않다. 이 시스템들은 억양이 다른 만다린 변형으로 기본 설정되어 있고, 토크나이저는 일반적인 대만 텍스트를 과도하게 분절하며, 중국어와 영어가 하나의 발화 내에서 교차하는 코드 스위칭 경계에서 발음 품질이 저하된다. 이러한 문제들은 하나의 근본 원인을 공유한다: 텍스트 측면에서 대만 맥락에 대한 적응이 부족하다는 것이다. 우리는 텍스트 측면을 근본부터 해결한다. 대만 맥락 데이터로 학습된 바이트 수준 BPE 토크나이저인 PangolinTokenizer는 9개의 토크나이저 중 가장 작은 어휘로 가장 낮은 토큰 비율(0.485 토큰/문자)을 달성한다. PangolinTokenizer로 학습된 수십억 매개변수 규모의 번체 중국어 언어 모델인 Barbet은 텍스트-의미 프론트엔드로 기능하며, 14개 태스크 평가에서 비교 가능한 공개 모델 중 1위를 차지한다. BlueMagpie-TTS는 학습된 브리지를 통해 Barbet을 VoxCPM2의 사전학습된 음향 스택에 연결하며, 음향 스택은 고정된 상태로 유지한다. 1,000문장으로 구성된 대만 현지화 테스트 세트에서, 문자 오류율(CER)을 11.45%에서 4.81%로, 단어 오류율(WER)을 14.83%에서 5.36%로 낮추어 각각 58.0%, 63.9%의 상대적 감소를 달성한다. 이 문장 중 500개에 대해 10명의 청취자를 대상으로 한 블라인드 청취 연구에서, 다수결 투표의 65.6%가 BlueMagpie-TTS를 선호하였다.

원문 초록

Off-the-shelf TTS systems are poorly adapted to Taiwanese Mandarin. Their accent defaults to other Mandarin variants, their tokenizers over-segment common Taiwanese text, and their pronunciation degrades at code-switching boundaries where Chinese and English alternate within one utterance. These problems share one root: the text side lacks adaptation to the Taiwanese context. We address the text side from the bottom up. PangolinTokenizer, a byte-level BPE tokenizer trained on Taiwan-context data, reaches the lowest token rate (0.485 tokens/character) with the smallest vocabulary among nine tokenizers. Barbet, a billion-parameter Traditional-Chinese language model trained on PangolinTokenizer, serves as the text-semantic frontend and ranks first among comparable public models on a 14-task evaluation. BlueMagpie-TTS attaches Barbet to the pretrained acoustic stack of VoxCPM2 through a learned bridge, keeping the acoustic stack fixed. On a 1000-sentence Taiwan-localized test set, it lowers CER from 11.45% to 4.81% and WER from 14.83% to 5.36%, relative reductions of 58.0% and 63.9%. In a blind listening study on 500 of these sentences with ten listeners, 65.6% of majority votes prefer BlueMagpie-TTS.

요약

대만 만다린의 코드 스위칭 TTS 문제를 해결하기 위해, 바이트 수준 BPE 토크나이저 PangolinTokenizer와 번체 중국어 언어 모델 Barbet을 설계하고 이를 VoxCPM2 음향 스택에 연결한 BlueMagpie-TTS를 제안한다. 대만 현지화 테스트 세트에서 CER을 11.45%에서 4.81%로, WER을 14.83%에서 5.36%로 낮추었으며, 블라인드 청취 연구에서 65.6%의 선호도를 기록했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.06054v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.