ReNikud: 오디오 지도 기반의 히브리어 자소-음소 변환
ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Conversion
한국어 초록
현대 히브리어의 자소-음소(G2P) 변환은 텍스트 음성 변환(TTS)과 같은 응용 분야에 필요하지만, 모음이 대부분 표기되지 않아 상당한 모호성을 야기하는 아브자드(abjad) 문자 체계로 인해 까다롭습니다. 표준적인 접근 방식은 국제음성기호(IPA) 전사를 생성하기 위해 먼저 모음 기호(nikud)를 예측하지만, 이는 한계가 있습니다. 모음화 데이터는 희소하고 구축하기 번거로우며, 어휘 강세와 같은 특징을 명시하지 않고, 일상적인 구어 발음보다는 형식적인 문법 규칙을 반영합니다. 한편 직접적인 시퀀스-투-시퀀스(sequence-to-sequence) IPA 예측은 제한된 데이터에서 어려움을 겪으며 아브자드의 특성인 문자 수준 정렬을 활용하지 못합니다. 본 논문에서 제안하는 ReNikud는 두 가지 핵심 통찰을 통해 이러한 한계를 극복합니다. (1) 수천 시간 분량의 레이블 없는 히브리어 오디오에 음소 기반 자동 음성 인식(ASR) 의사 레이블링 파이프라인을 적용하는 약한 오디오 지도(weak audio supervision)를 통해, 수작업 어노테이션 없이도 자연스러운 구어 규범을 반영하는 음소 전사를 도출합니다. (2) 각 문자 위치에서 IPA 음소를 예측하여 문자 수준 정렬을 귀납적 바이어스(inductive bias)로 강제하는 의사 모음화(pseudo-vocalization) 아키텍처를 도입합니다. 기존 히브리어 G2P 벤치마크와 구어 히브리어를 위해 새로 구축된 MILIM 벤치마크 평가 결과, ReNikud는 기존 최고 수준(SOTA)의 성능을 뛰어넘었습니다. 히브리어 TTS 및 음성 기술 연구를 지원하기 위해 코드와 학습된 모델을 공개할 예정입니다.
원문 초록
Grapheme-to-phoneme (G2P) conversion for Modern Hebrew is needed for applications like text-to-speech (TTS), but is challenging due to the language's abjad writing system, which leaves vowels largely unwritten, creating substantial ambiguity. Standard approaches first predict vowel diacritics (nikud) to produce International Phonetic Alphabet (IPA) transcriptions, but this is limited: vocalization data is scarce and laborious to produce, it does not specify features such as lexical stress, and it reflects formal grammatical rules rather than everyday spoken pronunciation. Direct sequence-to-sequence IPA prediction, meanwhile, struggles on limited data and fails to exploit the character-level alignment characteristic of abjads. Our method, ReNikud, overcomes these limitations with two key insights: (1) Weak audio supervision via a phoneme-based automatic speech recognition (ASR) pseudo-labeling pipeline on thousands of hours of unlabeled Hebrew audio, yielding phonemic transcriptions that reflect natural spoken norms without manual annotation. (2) A pseudo-vocalization architecture that predicts IPA phonemes at each character position, enforcing character-level alignment as an inductive bias. Results on existing Hebrew G2P benchmarks and the new targeted MILIM benchmark for spoken Hebrew show that ReNikud surpasses previous state-of-the-art methods. We will release our code and trained models to support further work on Hebrew TTS and speech technologies.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20179v2
- arXiv:2606.20179v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
정제는 명료도를 높이고 탐색은 화자 동일성을 높인다: 마스크 확산 TTS에서 테스트 시점 연산의 역할
Refinement Buys Intelligibility, Search Buys Identity: What Test-Time Compute Buys in Masked-Diffusion TTS
텍스트 음성 변환(TTS)을 위한 확산 언어 모델(Diffusion language model)은 두 가지 형태의 연산, 즉 모델 깊이(파라미터 수)와 정제 스텝(추론 예산)을 결합합니다. 본 연구에서는 이 두 요소가 여러 성능 전반에 걸쳐 동일하게 확장(scale)되는지 질문을 던집니다. 2,000시간의 음성 데이터로 깊이(1,900만~1억 3,300만 파라미터, 3개 시드)를 다양화한 15개의 마스크 확산 코덱 TTS 모델을 학습하고, 추론 시 정제 스텝 T를 [1, 16] 범위에서 스윕(sweep)하며 174명의 미보유(held-out) 화자에 대해 ASR 단어 오류율(명료도)과 화자 검증(화자 동일성)을 통해 제로샷 합성을 측정합니다. 측정된 하한선 대비 정제는 명료도 범위의 86.2%를 좁히지만 화자 동일성 범위는 46.4%만 좁혀, 여러 오류 지표 전반에서 일관되게 나타나는 1.86배의 비대칭성을 보입니다. 3배 및 6배 스케줄로 재학습하면 이 격차가 완화되기는 하지만(1.84배에서 1.36배, 1.23배로 감소) 역전되지는 않는데, 이는 명료도가 스텝 수에 따라 포화되는 반면 화자 동일성은 계속 개선되기 때문입니다. Best-of-K 탐색은 정제가 실패하는 부분에서 화자 동일성을 회복하며, 네 가지 독립된 인코더 전반에서 64.6~79.0%의 승률을 달성합니다. 깊이와 스텝은 상호 대체 가능하지 않으며, 분리 가능한 B(d)B(T) 모델이 대체 모델보다 유의미하게 더 잘 적합합니다(Delta AICc=+69.3). 분석 결과 남아 있는 화자 동일성 결손의 62%는 생성기가 아닌 코덱에 존재하는 것으로 나타났습니다. 결론적으로 정제와 깊이는 서로 다른 병목을 겨냥하므로 별도로 최적화되어야 합니다.
NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Phonikud: 히브리어 텍스트 음성 변환을 위한 음운적 미지정 극복
Phonikud: Overcoming Phonetic Underspecification for Hebrew Text-To-Speech
현대 히브리어를 위한 텍스트 음성 변환(TTS)은 언어의 표기 체계 복잡성으로 인해 어려움을 겪으며, 기존 솔루션은 강세와 같은 미지정 음운적 특징을 무시합니다. 우리는 네 가지 기여를 통해 음운적으로 더 정확한 히브리어 TTS를 위한 프레임워크를 제시합니다: (1) Phonikud, 기본 부호 추가기(diacritizer)를 확장하여 설계된, 완전히 명시된 국제 음성 기호(IPA) 전사를 출력하는 오픈 소스 히브리어 문자소-음소 변환(G2P) 시스템. (2) 히브리어 오디오, 텍스트 및 전문가 IPA 주석이 쌍으로 구성된 ILSpeech 말뭉치(corpus). (3) 이전에 측정되지 않았던 히브리어 G2P 변환 작업을 위한 벤치마크. (4) 자동 TTS 평가를 위해 이전에 간과되었던 음운적 세부 사항을 포착하는 히브리어 오디오-IPA 모델. 우리의 결과는 Phonikud가 이전 방법보다 히브리어 음소를 더 정확하게 예측하며, Phonikud의 음운 입력을 사용하는 소형 로컬 TTS 모델이 대형 독점 시스템에 근접하는 성능을 보임을 보여줍니다. 우리는 https://phonikud.github.io에서 코드, 데이터, 모델을 공개합니다.
Balalaika: Data-Centric, Prosody-Aware Annotation Pipeline for Russian Speech
ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching
토론
이 논문과 연결된 포럼 글이 아직 없습니다.