Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
원문 초록
We present two end-to-end models: Audio-to-Byte (A2B) and Byte-to-Audio (B2A), for multilingual speech recognition and synthesis. Prior work has predominantly used characters, sub-words or words as the unit of choice to model text. These units are difficult to scale to languages with large vocabularies, particularly in the case of multilingual processing. In this work, we model text via a sequence of Unicode bytes, specifically, the UTF-8 variable length byte sequence for each character. Bytes allow us to avoid large softmaxes in languages with large vocabularies, and share representations in multilingual models. We show that bytes are superior to grapheme characters over a wide variety of languages in monolingual end-to-end speech recognition. Additionally, our multilingual byte model outperform each respective single language baseline on average by 4.4% relatively. In Japanese-English code-switching speech, our multilingual byte model outperform our monolingual baseline by 38.6% relatively. Finally, we present an end-to-end multilingual speech synthesis model using byte representations which matches the performance of our monolingual baselines.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
합성 음성만 있을 때: GRPO를 선택하라
When Synthetic Speech Is All You Have: Better Call GRPO
은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.
AfriVoices-KE: 케냐 언어를 위한 다국어 음성 데이터셋
AfriVoices-KE: A Multilingual Speech Dataset for Kenyan Languages
AfriVoices-KE는 Dholuo, Kikuyu, Kalenjin, Maasai, Somali 등 5개 케냐어에 걸쳐 약 3,000시간의 오디오로 구성된 대규모 다국어 음성 데이터셋이다. 이 데이터셋은 다양한 지역과 인구통계 특성을 가진 4,777명의 원어민 화자로부터 수집된 750시간의 대본 기반(scripted) 음성과 2,250시간의 자발적(spontaneous) 음성을 포함한다. 본 연구는 고품질의 언어학적으로 다양한 자원을 제공함으로써 음성 기술에서 아프리카 언어가 심각하게 과소 대표된 문제를 해결한다. 데이터 수집은 이중 방법론을 따랐다. 대본 녹음은 편집된 텍스트 말뭉치, 번역문, 그리고 케냐 맥락에 관련된 11개 도메인에 걸친 도메인 특화 생성 문장에서 가져왔으며, 무대본 음성은 자연스러운 언어적 변이와 방언적 뉘앙스를 포착하기 위해 텍스트 및 이미지 프롬프트를 통해 유도되었다. 맞춤형 모바일 애플리케이션을 통해 기여자들이 스마트폰으로 녹음할 수 있었다. 품질 보증은 여러 계층에서 이루어졌으며, 녹음 전 자동 신호 대 잡음비(SNR) 검증과 내용 정확도에 대한 사람 검토를 포함한다. 프로젝트는 신뢰할 수 없는 인프라, 기기 호환성 문제, 지역사회 신뢰 장벽을 포함해 저자원 환경에서 흔한 도전에 직면했지만, 현지 동원자, 이해관계자 파트너십, 적응형 학습 프로토콜을 통해 이를 완화했다. AfriVoices-KE는 포용적인 자동 음성 인식 및 텍스트 음성 변환 시스템 개발을 위한 기초 자원을 제공하며, 케냐의 언어 유산의 디지털 보존을 촉진한다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구
Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study
개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.
OLIVE: 음성 자기지도학습을 위한 뷰 증강 잠재 예측과 파형 재구성
OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL
우리는 분석과 합성 목적을 함께 최적화하는 자기지도 음성 표현 학습 프레임워크인 OLIVE(Online Latent prediction with Invariant Views and rEconstruction)를 제안한다. OLIVE는 단일 인코더 내의 기능적 분리를 통해 마스킹된 잠재 예측과 파형 복원을 결합한다. 복원은 인코더의 초기 특징이 신호 수준의 정보를 유지하도록 제약하고, 마스킹된 잠재 예측은 강건한 하위 작업 성능을 위해 이후의 문맥 표현을 형성하며, 파형 뷰 증강은 이들이 학습하는 불변성을 정의한다. 우리가 아는 한, OLIVE는 파형을 직접 복원하고, 사전학습 후에도 보코더를 유지하며, 판별 과제에서도 경쟁력을 갖는 최초의 음성 SSL 모델이다. 복원을 추가해도 마스킹된 잠재 예측만 사용할 때의 음성 인식 성능은 대체로 유지되면서, 파형 복원과 화자 관련 과제는 향상된다. 파형 mixup과 이득 증강을 추가하면 표현을 화자, 생성, 복원 과제 쪽으로 더 이동시키는 제어 가능한 방법을 제공하면서도 인식 및 의미 과제에서 경쟁력을 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.