arXiv:2206.13817

Comparison of Speech Representations for the MOS Prediction System

Aki Kunikoshi, Jaebok Kim, Wonsuk Jun, Kåre Sjölander

제출 2022-06-28

원문 초록

Automatic methods to predict Mean Opinion Score (MOS) of listeners have been researched to assure the quality of Text-to-Speech systems. Many previous studies focus on architectural advances (e.g. MBNet, LDNet, etc.) to capture relations between spectral features and MOS in a more effective way and achieved high accuracy. However, the optimal representation in terms of generalization capability still largely remains unknown. To this end, we compare the performance of Self-Supervised Learning (SSL) features obtained by the wav2vec framework to that of spectral features such as magnitude of spectrogram and melspectrogram. Moreover, we propose to combine the SSL features and features which we believe to retain essential information to the automatic MOS to compensate each other for their drawbacks. We conduct comprehensive experiments on a large-scale listening test corpus collected from past Blizzard and Voice Conversion Challenges. We found that the wav2vec feature set showed the best generalization even though the given ground-truth was not always reliable. Furthermore, we found that the combinations performed the best and analyzed how they bridged the gap between spectral and the wav2vec feature sets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27382v1cs.SD공통 태그 Self-Supervised Learning, text-to-speech

얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정

When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models

음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.

arXiv:2607.15038v2cs.CV공통 태그 Self-Supervised Learning, Text to Speech

비디오 = 월드(World) + 이벤트 스트림(Event Stream)

Video = World + Event Stream

Wan-Streamer v0.3을 제시한다. 이는 네이티브 스트리밍 상호작용 모델을 단일하는 조직적 관점 아래 재구성한 것으로, 비디오는 월드와 이벤트 스트림의 합이다. 월드는 비디오가 전개되는 지속적인 컨텍스트로, 환경(environment), 장면, 대상, 주변 음향 조건, 음성 특성, 기타 상대적으로 안정적인 조건을 포함한다. 이벤트 스트림은 해당 월드 내에서 시간에 따라 변하는 모든 것으로, 장면 또는 환경 변화, 대상 행동, 음성, 기타 소리를 포함한다. 이는 대규모 실제 비디오에 대한 범용 사전학습(pre-training) 과제를 만들어낸다. 월드와 들어오는 입력이 주어졌을 때, 월드가 실시간으로 어떻게 움직이고 변화하며 반응하는지 예측한다. 이렇게 얻은 역량은 광범위한 실시간 다운스트림(downstream) 과제에 특화될 수 있다. 이를 실시간 풀듀플렉스(full-duplex) 오디오-비주얼 상호작용에 구현했으며, 여기서 이벤트 스트림은 에이전트의 음성과 자유 형식 행동이다. 기능적으로 모델의 멀티모달 이해 과정은 비전-언어-행동(vision-language-action)과 유사하다. 멀티모달 사용자 입력을 언어 형식의 음성 및 행동 액션으로 매핑한다. Wan-Streamer v0.3은 v0.2 운영 지점을 유지한다. 640x368 비디오, 25 FPS, 160 ms 스트리밍 유닛, 약 200 ms 모델 측 응답 지연, 350 ms 양방향 네트워크 예산 하에서 약 550 ms 총 상호작용 지연이다.

arXiv:2607.08208v2cs.CL공통 태그 text-to-speech, Text to Speech

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.