ircam.fr

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.24688v1cs.SD

ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향

Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion

각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.