arXiv:2306.15464

Large-scale unsupervised audio pre-training for video-to-speech synthesis

Triantafyllos Kefalas, Yannis Panagakis, Maja Pantic

제출 2023-06-27

원문 초록

Video-to-speech synthesis is the task of reconstructing the speech signal from a silent video of a speaker. Most established approaches to date involve a two-step process, whereby an intermediate representation from the video, such as a spectrogram, is extracted first and then passed to a vocoder to produce the raw audio. Some recent work has focused on end-to-end synthesis, whereby the generation of raw audio and any intermediate representations is performed jointly. All such approaches involve training on data from almost exclusively audio-visual datasets, i.e. every audio sample has a corresponding video sample. This precludes the use of abundant audio-only datasets which may not have a corresponding visual modality (e.g. audiobooks, radio podcasts, speech recognition datasets etc.), as well as audio-only architectures that have been developed by the audio machine learning community over the years. In this paper we propose to train encoder-decoder models on more than 3,500 hours of audio data at 24kHz, and then use the pre-trained decoders to initialize the audio decoders for the video-to-speech synthesis task. The pre-training step uses audio samples only and does not require labels or corresponding samples from other modalities (visual, text). We demonstrate that this pre-training step improves the reconstructed speech and that it is an unexplored way to improve the quality of the generator in a cross-modal task while only requiring samples from one of the modalities. We conduct experiments using both raw audio and mel spectrograms as target outputs and benchmark our models with existing work.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 speech-recognition, Speech Recognition, Speech Synthesis

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.08409v1cs.CL공통 태그 speech-recognition, Speech Recognition, Speech Synthesis

합성 음성만 있을 때: GRPO를 선택하라

When Synthetic Speech Is All You Have: Better Call GRPO

은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.

arXiv:2604.08448v2cs.CL공통 태그 speech-recognition, Speech Recognition, Speech Synthesis

AfriVoices-KE: 케냐 언어를 위한 다국어 음성 데이터셋

AfriVoices-KE: A Multilingual Speech Dataset for Kenyan Languages

AfriVoices-KE는 Dholuo, Kikuyu, Kalenjin, Maasai, Somali 등 5개 케냐어에 걸쳐 약 3,000시간의 오디오로 구성된 대규모 다국어 음성 데이터셋이다. 이 데이터셋은 다양한 지역과 인구통계 특성을 가진 4,777명의 원어민 화자로부터 수집된 750시간의 대본 기반(scripted) 음성과 2,250시간의 자발적(spontaneous) 음성을 포함한다. 본 연구는 고품질의 언어학적으로 다양한 자원을 제공함으로써 음성 기술에서 아프리카 언어가 심각하게 과소 대표된 문제를 해결한다. 데이터 수집은 이중 방법론을 따랐다. 대본 녹음은 편집된 텍스트 말뭉치, 번역문, 그리고 케냐 맥락에 관련된 11개 도메인에 걸친 도메인 특화 생성 문장에서 가져왔으며, 무대본 음성은 자연스러운 언어적 변이와 방언적 뉘앙스를 포착하기 위해 텍스트 및 이미지 프롬프트를 통해 유도되었다. 맞춤형 모바일 애플리케이션을 통해 기여자들이 스마트폰으로 녹음할 수 있었다. 품질 보증은 여러 계층에서 이루어졌으며, 녹음 전 자동 신호 대 잡음비(SNR) 검증과 내용 정확도에 대한 사람 검토를 포함한다. 프로젝트는 신뢰할 수 없는 인프라, 기기 호환성 문제, 지역사회 신뢰 장벽을 포함해 저자원 환경에서 흔한 도전에 직면했지만, 현지 동원자, 이해관계자 파트너십, 적응형 학습 프로토콜을 통해 이를 완화했다. AfriVoices-KE는 포용적인 자동 음성 인식 및 텍스트 음성 변환 시스템 개발을 위한 기초 자원을 제공하며, 케냐의 언어 유산의 디지털 보존을 촉진한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.