arXiv:2112.04424

Training Robust Zero-Shot Voice Conversion Models with Self-supervised Features

Trung Dang, Dung Tran, Peter Chin, Kazuhito Koishida

제출 2021-12-08

원문 초록

Unsupervised Zero-Shot Voice Conversion (VC) aims to modify the speaker characteristic of an utterance to match an unseen target speaker without relying on parallel training data. Recently, self-supervised learning of speech representation has been shown to produce useful linguistic units without using transcripts, which can be directly passed to a VC model. In this paper, we showed that high-quality audio samples can be achieved by using a length resampling decoder, which enables the VC model to work in conjunction with different linguistic feature extractors and vocoders without requiring them to operate on the same sequence length. We showed that our method can outperform many baselines on the VCTK dataset. Without modifying the architecture, we further demonstrated that a) using pairs of different audio segments from the same speaker, b) adding a cycle consistency loss, and c) adding a speaker classification loss can help to learn a better speaker embedding. Our model trained on LibriTTS using these techniques achieves the best performance, producing audio samples transferred well to the target speaker's voice, while preserving the linguistic content that is comparable with actual human utterances in terms of Character Error Rate.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28414v1cs.CV공통 태그 Self-Supervised Learning, Decoder

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2609.23478v1cs.CV공통 태그 Self-Supervised Learning, Decoder

대수적 일관성만으로는 잠재 행동 모델의 시간적 구조를 보증할 수 없다

Algebraic Consistency Alone Does Not Certify Temporal Structure in Latent Action Models

잠재 행동 모델(Latent action models)은 행동 라벨이 없는 비디오의 두 프레임 간 전이(transition)를 나타내는 코드를 추론한다. 최근의 방법들은 이 코드가 덧셈적으로 합성되고 반대칭적으로 역전되도록 정규화(regularization)하며, 그 결과 발생하는 오차의 수치상 자릿수 감소를 코드가 시간적 구조를 포착했다는 무라벨 보증(label-free certificate)으로 보고한다. 본 연구에서는 이러한 결론이 타당하지 않음을 보인다. 재구성은 디코딩된 전이를 상태 피처의 차이로 유도하며, 이 경우 어떠한 쌍에 대해서도 두 항등식이 성립하므로, 평가 지표는 이를 방해 상태(nuisance state)나 좌표계 규약을 인코딩한 해와 구별할 수 없다. 5개 소스 도메인에 걸쳐, 제약 없이 학습된 대응 모델조차 학습되지 않은 기준선 앵커 대비 오차 감소율의 83-97%를 이미 달성한다. 잔차의 차이는 무엇을 학습했는지만큼이나 디코더 패밀리에 의해 좌우된다. 시간적 쌍 구조를 파괴한 후 재학습된 제약 모델조차도 각 도메인에서 실제 데이터에 대한 비제약 모델보다 더 낮은 오차를 달성한다. 다운스트림 작업에서 시간적 쌍 구조를 보존하는 것은 LIBERO-GOAL이나 LIBERO-SPATIAL에서 일관된 이점을 제공하지 못하며, 테스트된 로봇 팔 전반에서 대수적 오차가 개선될수록 코드의 평균 선형 행동 디코딩 가능성은 오히려 떨어진다. 또한 가장 직접적인 해결책으로서 파괴된 쌍에서 대수적 관계가 깨지도록 요구하는 위반-대조 목적함수(violation-contrastive objective)를 테스트했으나, 테스트된 구성에서는 학습 및 테스트 트리플 모두에서 재구성 예산 내 한계 수준의 분리만을 제공했다. 본 연구는 현재 이러한 방법들에 결여된 검증 프로토콜로 기준선 보정 지표, 파괴된 쌍에 대한 재학습, 시드-예산 분석을 제안한다.

arXiv:2607.22615v1q-bio.NC공통 태그 Self-Supervised Learning, Decoder

마스크드 오토인코더는 휴식 상태 신경 데이터로부터 지각 관련 표현을 학습한다

Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data

임상 신경 보철(clinical neuroprosthetics)은 데이터 병목에 직면한다. 라벨이 붙은 지각 시행은 부족한 반면, 수 시간에 달하는 자발적 신경 활동은 대부분 활용되지 않는다. 본 연구에서는 자기지도 학습(self-supervised learning)이 이러한 비라벨 데이터셋을 활용해 지각 디코딩(perception decoding)을 개선할 수 있는지 검증한다. 시각장애 참가자의 V1에 삽입된 피질내 배열(intracortical array)에서 기록한 14.6시간 분의 자발적 다단위(multiunit) 활동으로 마스크드 오토인코더를 사전학습했다. 모델은 감독 없이 해석 가능한 뇌 구조를 포착했다. V1의 공간적 조직화와 지각 상태 분리가 모두 잠재 표현(latent representations)만으로 순수하게 나타났다. 이러한 특성을 검증하기 위해, 고정된 잠재 표현에 대한 로지스틱 회귀를 이용한 선형 프로빙(linear probing)으로 자극이 주어진 데이터에서의 성능을 측정했다. 일반 심리측정(psychometric) 과제에서 지각 디코딩 정확도는 84.1%에 달했다. 더 어려운 임계값 수준(threshold-level) 과제에서는 정확도가 64.0%에 달했다. 본 연구는 자발적 피질 활동이 노이즈가 아니며, 풍부한 과제 관련 구조를 담고 있음을 보여준다. 이 데이터에 대한 비지도 사전학습은 신경 디코딩을 개선하는 유망한 전략이다.

arXiv:2607.24023v1cs.AI공통 태그 Self-Supervised Learning, Decoder

뇌-기계 인터페이스에서 신경 디코딩 일반화를 위한 자기지도 일관성 강화 분리 학습

Self-Supervised Consistency Enhanced Disentangled Learning for Neural Decoding Generalization in Brain-Machine Interface

뇌-기계 인터페이스(BMI)는 뇌와 외부 장치 간의 직접적인 통신 경로를 제공하여, 인간이 보조 및 로봇 기술을 제어할 수 있게 하며, 재활, 인간 운동 기능 증강, 인간 중심 로봇 공학 분야에 적용될 잠재력을 지닌다. 그러나 신경 표류(neural drift)로 인해 BMI의 성능은 시간이 지남에 따라 저하되어, 특히 침습적 BMI(iBMI)의 장기적 실용성에 어려움을 초래한다. 기존 해결책은 두 가지 주요 한계를 갖는다: (i) 견고한 신경 표현(representation) 학습의 어려움, (ii) 신경 표류가 운동 파라미터(예: 속도, 방향, 속력)에 따라 달라진다는 점을 간과함. 이러한 한계를 극복하기 위해, 우리는 두 가지 핵심 혁신을 바탕으로 한 신경 디코딩 일반화 프레임워크인 자기지도 일관성 강화 분리 학습(SSCDL)을 제안한다. 먼저, 시뮬레이션된 신경 신호 교란과 함께 새로운 teacher-student 일관성 제약을 사용하여 신경 표류에 불변인 견고한 표현을 학습하는 백본 모델인 일관성 강화 신경 디코더(CND)를 설계한다. 다음, 신경 선호 이론(neural preference theory)에서 영감을 받아 운동 신호를 속도, 방향, 속력으로 분리하는 상보적 분리 일반화(CDG) 메커니즘 하에서 세 개의 전용 CND를 사용한다. 이 분리 학습을 통해 SSCDL은 다양한 신경 선호 관점에서 불변 신경 표현을 포착하여, 일간(cross-day) 일반화를 크게 향상시킨다. 광범위한 실험 결과, SSCDL은 최첨단 디코딩 성능을 달성하며, 높은 견고성과 일간 안정성을 보인다. 이러한 역량은 인간 중심 로봇 및 세밀한 보조 응용 분야에서의 장기 상호작용에 대한 강한 잠재력을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.