WordVoice: LLM 기반 TTS를 위한 명시적이고 분리된 다차원 단어 수준 제어
WordVoice: Explicit and Decoupled Multi-Dimensional Word-Level Control for LLM-Based TTS
한국어 초록
최근 대규모 언어 모델(LLM) 기반 텍스트 음성 변환(TTS) 시스템은 뛰어난 자연스러움을 달성했으나, 주로 암묵적인 엔드-투-엔드 생성 패러다임에 의존하여 거친 수준의 제어에 머무르고 있다. 오디오북 내레이션 및 비디오 더빙과 같이 정밀한 스타일 개입과 엄격한 시간적 정렬이 요구되는 시나리오에서, 단어 수준의 음향 속성을 명시적으로 조작할 수 없다는 점이 핵심적인 병목으로 남아 있다. 이러한 한계는 주로 세밀하게 주석이 달린 데이터셋의 극심한 부족과, 다차원 제어 신호를 이산적 자기회귀(autoregressive) 생성에 통합하는 아키텍처적 과제로 인해 더욱 심화된다. 이를 해결하기 위해, 우리는 높은 정밀도의 단어 수준 제어를 위한 통합 프레임워크를 제안한다. 먼저, 엄격한 언어학 기반 파이프라인을 통해 개발된 5차원 단어 수준 주석(지속 시간, 경계, 에너지, 피치, 성조)을 갖춘 4,700시간 규모의 대규모 이중 언어 데이터셋 WordVoice-5A를 구축한다. 다음으로, 암묵적 생성 과정을 명시적이고 고도로 제어 가능한 패러다임으로 전환하기 위해 WordVoice를 소개한다. 구체적으로, LLM 내에 바운드-토큰(bound-token) 메커니즘을 도입하여 명시적인 '음향 계획(acoustic planning)' 과정을 구성함으로써, 적응적 다중 작업 운율 계획 및 유연한 수동 개입을 가능하게 한다. 또한, 토큰-파형(token-to-waveform) 단계에 세밀한 음향 변조 모듈을 추가하여, 고도로 압축된 이산 토큰과 연속 파형 간의 단어 수준 속성을 엄격하게 정렬하는 해상도 격차를 해소한다. 광범위한 실험을 통해 WordVoice가 경쟁력 있는 제로샷(zero-shot) 합성 안정성을 유지하면서 다수의 음향 차원에 걸쳐 우수하고 분리된 제어를 달성함을 입증한다. 코드 및 오디오 샘플은 https://xxh333.github.io/wordvoice-demo/ 에서 공개적으로 이용 가능하다.
원문 초록
While recent Large Language Model (LLM)-based Text-to-Speech (TTS) systems have achieved remarkable naturalness, they predominantly rely on implicit end-to-end generation paradigms, resulting in coarse-grained control. In scenarios demanding precise stylistic interventions and strict temporal alignment, such as audiobook narration and video dubbing, the inability to explicitly manipulate word-level acoustic attributes remains a critical bottleneck. This limitation is primarily amplified by the severe scarcity of fine-grained annotated datasets and the architectural challenge of integrating multi-dimensional control signals into discrete autoregressive generation. To address this, we propose a unified framework for highly precise word-level control. First, we construct WordVoice-5A, a massive 4.7k-hour bilingual dataset featuring five-dimensional word-level annotations (duration, boundary, energy, pitch and tone) developed through a rigorous linguistically-guided pipeline. Second, we introduce WordVoice to transform the implicit generation process into an explicit, highly controllable paradigm. Specifically, we introduce a bound-token mechanism within the LLM to formulate an explicit ``acoustic planning'' process, enabling adaptive multi-task prosodic planning and flexible manual intervention. Furthermore, we augment the token-to-waveform stage with a fine-grained acoustic modulation module, bridging the resolution gap to strictly align word-level attributes between highly compressed discrete tokens and continuous waveforms. Extensive experiments demonstrate that WordVoice achieves superior, decoupled control over multiple acoustic dimensions while maintaining competitive zero-shot synthesis stability. The code and audio samples are publicly available at https://xxh333.github.io/wordvoice-demo/.
요약
LLM 기반 TTS의 암묵적 생성 패러다임으로 인한 단어 수준 음향 제어의 한계를 극복하기 위해, WordVoice-5A(4,700시간 이중 언어 5차원 단어 수준 주석 데이터셋)를 구축하고 bound-token 기반 "음향 계획(acoustic planning)" 메커니즘과 세밀한 음향 변조 모듈을 결합한 WordVoice 프레임워크를 제안한다. 광범위한 실험을 통해 WordVoice가 제로샷 합성 안정성을 유지하면서 지속 시간, 경계, 에너지, 피치, 성조 등 다차원 음향 속성에 대한 정밀하고 분리된 단어 수준 제어를 달성함을 입증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.06461v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.