arXiv:2611.18898v1 cs.LG

인수분해된 자기지도 음성 토큰화

Factorized Self-Supervised Speech Tokenization

Benjamin Van Niekerk, Jean-Philippe Letendre, Nicol Visser, Hugo Seute, Herman Kamper, Mirco Ravanelli

제출 2026-11-17

한국어 초록

음성 토크나이저는 오디오를 이산 단위로 변환하여 언어 모델이 음성을 처리하고 생성할 수 있게 한다. 목표는 화자의 목소리와 전달 방식을 복원할 수 있을 만큼의 세부 정보를 보존하면서도 간결하고 텍스트와 유사한 표현을 학습하는 것이다. 본 논문은 시간에 따라 변하는 정보(내용과 운율)를 정적인 구성 요소(화자 정체성과 녹음 조건)로부터 분리하는 인수분해 토크나이저인 Facto를 제안한다. 자기지도 특징에 대한 최근의 선형 인수분해 방법을 기반으로 하여, 이를 확장해 보지 못한 화자도 처리할 수 있도록 한다. 이후 인수분해된 공간을 군집화하고, 그 결과로 얻은 토큰으로부터 오디오를 복원하는 경량 디코더를 학습한다. 군집화 전에 정적 구성 요소를 제거함으로써 본 토큰은 작은 잡음 섭동에 더 강건해진다. 이를 다양한 잡음 조건에서 토큰 안정성을 시험하여 검증한다. 다음으로 Facto의 수렴 및 확장 특성을 이론적으로 분석하여, 학습 화자 수가 늘어남에 따라 인수분해가 얼마나 개선되는지를 정량화한다. 마지막으로 다양한 하위 과제에서 Facto를 평가한다. 토큰 안정성이 높을수록 텍스트 음성 변환 성능이 향상되며, 음성 변환과 음성 언어 모델링에서도 경쟁력 있는 결과를 얻음을 보인다. 코드와 체크포인트는 https://github.com/ubisoft/ubisoft-laforge-facto/ 에서, 데모 페이지는 https://ubisoft-laforge.github.io/speech/facto/ 에서 확인할 수 있다.

원문 초록

Speech tokenizers convert audio into discrete units, enabling language models to process and generate speech. The goal is to learn compact, text-like representations while preserving enough detail to reconstruct a speaker's voice and delivery. We propose Facto: a factorized tokenizer that disentangles time-varying information (content and prosody) from static components (speaker identity and recording conditions). We build on a recent linear factorization method for self-supervised features, extending it to handle unseen speakers. Then, we cluster the factorized space and train a lightweight decoder to reconstruct audio from the resulting tokens. By removing the static components before clustering, our tokens are more robust to small noise perturbations. We validate this by testing token stability under various noise conditions. Next, we theoretically analyze Facto's convergence and scaling properties, quantifying how the factorization improves with the number of training speakers. Finally, we evaluate Facto on a range of downstream tasks. We show that greater token stability translates into improved text-to-speech performance and competitive results in voice conversion and spoken language modeling. Code and checkpoints at https://github.com/ubisoft/ubisoft-laforge-facto/ and demo page at https://ubisoft-laforge.github.io/speech/facto/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18898v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.