PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06740v1cs.SD

다국어 다화자 유닛 보코더: 이산 음성 표현에 대한 체계적 분석

Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations

자기 지도 임베딩(self-supervised embeddings)의 k-means 군집화를 통해 얻은 이산 음성 유닛(discrete speech units)은 음성적(phonetic), 화자, 언어 정보가 얽혀 있어, 다국어 다화자 음성 생성에서 화자 혼합(speaker mixing)과 언어 간 간섭(cross-lingual interference)을 유발합니다. 오디오 LLM(Audio LLM) 및 음성 대 음성 시스템(speech-to-speech systems)에서의 사용이 증가하고 있음에도 불구하고, 유닛 보코더(unit vocoder)는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 4개의 인도어를 대상으로 BigVGAN 기반 유닛 보코더를 분석합니다. WER(단어 오류율), 화자 유사도, 유닛 수준 메트릭을 사용하여 클러스터 크기와 조건화 전략 간의 상호작용을 연구합니다. 결과에 따르면, 클러스터 크기는 음성적 식별력(phonetic discriminability)을 향상시켜 명료도(intelligibility)를 좌우하며, 명시적 화자 조건화(explicit speaker conditioning)는 정체성 붕괴(identity collapse) 방지에 필수적입니다. 언어 감독(language supervision)은 유닛이 여전히 모호한 낮은 클러스터 크기에서 주로 추가적인 이득을 제공합니다. 분석 결과, 더 작은 인벤토리(inventory)에서 언어 간 유사한 음소(phonemes)는 동일한 클러스터 ID로 통합되는 반면, 더 큰 클러스터에서는 점진적으로 분리되는 것으로 나타났습니다.