실제 환경(In-the-wild) 사전 지식을 활용한 참조 기반 다화자 오디오 장면 생성
Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors
한국어 초록
기존 다화자 대화 시스템은 턴별 태그, 다중 스트림 전사, 또는 학습 가능한 화자 임베딩(speaker embedding)과 같은 구조화된 지도(supervision)를 통해 화자와 발화를 연결합니다. 이러한 시스템들은 실제 대화의 주변 환경 질감이 결여된 깨끗한 음성 시퀀스를 생성하는 음성 전용 파이프라인 내에서 작동합니다. 우리는 다른 접근 방식을 취합니다. 본 연구의 방법인 ScenA는 대규모 실제 환경(in-the-wild) 데이터로 사전 학습된 텍스트-오디오 플로우 매칭(flow-matching) 파운데이션 모델이, 전체 다화자 오디오 장면을 설명하는 자유 형식의 자연어 프롬프트와 여러 참조 음성에 직접 조건화(conditioning)되도록 합니다. 이러한 파운데이션 모델을 활용하면 턴별 구조 없이 다화자 제어 기능을 추가하면서도, 배경 소음, 공간 음향, 겹치는 대화, 자발적인 부언어적(paralinguistic) 사건 등 자연스럽고 녹음실이 아닌 오디오를 생성하는 모델의 능력을 그대로 계승할 수 있습니다. 구체적으로, 참조 잠재 벡터(latents)는 모델의 토큰 시퀀스에 연결(concatenate)되며, 가벼운 화자 인식(identity-aware) 위치 인코딩을 통해 구별됩니다. 그러나 우리는 이 접근 방식의 치명적인 장애물인 '참조 지름길(Reference Shortcut)'을 식별했습니다. 표준 노이즈 스케줄(noise schedule) 하에서 학습할 때, 모델은 텍스트 프롬프트를 완전히 무시하고 노이즈가 섞인 타겟과의 음향적 유사성만으로 일치하는 참조를 식별해버리는 현상이 발생합니다. 우리는 모델이 화자 할당(speaker assignment)을 위해 텍스트 프롬프트에 의존하도록 강제하는 고노이즈 편향(high-noise-biased) 타임스텝 분포를 통해 이 문제를 해결했습니다. CoVoMix2-Dialogue 벤치마크에서 ScenA를 평가한 결과, ScenA는 겹치는 말하기, 감정적 발성, 환경음이 포함된 풍부한 대화 오디오를 생성하면서도 화자 바인딩(speaker-binding) 지표에서 기존 다화자 시스템보다 우수한 성능을 보여주었습니다. 우리의 결과는 음성 전용 파이프라인에 구조화된 대화 스크립트를 입력하는 방식 대신, 자유 형식의 장면 설명에 조건화된 범용 오디오 모델을 사용하는 것이 더 유리하다는 점을 입증합니다.
원문 초록
Existing multi-speaker dialogue systems bind speakers to utterances through structured supervision: per-turn tags, multi-stream transcriptions, or learnable speaker embeddings. These systems operate within speech-only pipelines that produce clean vocal sequences without the ambient texture of real conversations. We take a different approach. Our method, ScenA, conditions a text-to-audio flow-matching foundation model, pretrained on large-scale in-the-wild data, directly on multiple reference voices and a free-form natural language prompt that describes an entire multi-speaker audio scene. Leveraging such a foundational model allows us to inherit its capacity for natural, non-studio audio: background noise, room acoustics, overlapping dialogue, and spontaneous paralinguistic events, while adding multi-speaker control without any per-turn structure. Concretely, reference latents are concatenated into the model's token sequence and distinguished by lightweight identity-aware positional encodings. However, we identify a critical obstacle to this approach: the \textit{Reference Shortcut}. During training under standard noise schedules, the model can identify the matching reference by acoustic similarity to the noisy target, bypassing the text prompt entirely. We address this with a high-noise-biased timestep distribution that forces the model to rely on the text prompt for speaker assignment. We evaluate ScenA on the CoVoMix2-Dialogue benchmark, showing that it outperforms existing multi-speaker systems on speaker-binding metrics while generating rich conversational audio with overlapping speech, emotional vocalizations, and ambient sound. Our results demonstrate the advantage of using a general-purpose audio model conditioned on a free-form scene description, rather than passing structured dialog scripts through a speech-only pipeline.
요약
ScenA는 대규모 in-the-wild 데이터로 사전학습된 텍스트-오디오 flow-matching 파운데이션 모델에 여러 참조 음성과 자유 형식 장면 설명 프롬프트를 조건으로 걸어, 턴별 구조 없이 다화자 대화·겹치는 발화·환경음이 포함된 오디오 장면을 생성한다. 학습 시 참조 음성만으로 화자를 맞추는 Reference Shortcut을 고노이즈 편향 timestep 분포로 완화했으며, CoVoMix2-Dialogue에서 화자 바인딩 지표가 기존 다화자 시스템을 능가한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19325v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ReGen: 효율적인 파형 확산 모델을 위한 계층적 다중 프롬프트 표현 생성
ReGen: Hierarchical Multi-Prompt Representation Generation for Efficient Waveform Diffusion Models
표현 정렬(REPA)은 확산 학습을 가속화하기 위해 연구되어 왔으나, 확산 트랜스포머(DiT)의 중간 표현을 정규화하면 잠재 변수가 암묵적으로 얽히고 생성 용량이 제한될 수 있음을 관찰하였다. 이 문제를 해결하기 위해, 단일 확산 모델 내에서 표현과 데이터 모두에 대한 다중 벡터 필드를 공동으로 추정하는 계층적 다중 프롬프트 표현 생성 프레임워크인 ReGen을 제안한다. 또한 조건부 흐름 매칭(CFM)의 일반화를 향상시키기 위해 일반화된 흐름 매칭(GFM)을 도입한다. 신경 오디오 코덱과 Wave-VAE를 포함한 단일 단계 파형 확산 모델에서 ReGen을 검증한다. ReGen은 12.5 Hz에서 고도로 압축된 잠재 표현으로부터의 파형 생성 품질을 크게 향상시킨다. 또한 소규모 데이터셋으로 강력한 음성 명료도(WER)와 화자 유사도(SIM)를 달성하는 잠재 확산 모델(LDM) 기반 텍스트 음성 변환 모델인 ReGenVoice를 소개한다. 더불어, 풍부한 의미적·음향적 잠재 표현으로 6.25 Hz에서 LDM을 운용함으로써 효율적인 학습과 샘플링이 가능하며, 4개의 GPU로 단 1일의 학습만 필요하고 RTF 0.08의 빠른 추론을 제공한다. 오디오 샘플은 https://regenvoice.github.io/demo/ 에서 확인할 수 있다.
Enhancing Flow Matching with A Unified Guidance Framework for Efficient and Robust Speech Synthesis
FacePlex: Full-Duplex Joint Speech-Facial Motion Generation for Conversational Avatars
VoiceTTA: 강화학습 기반 테스트 시점 적응을 통한 제로샷 텍스트 음성 변환 향상
VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinforcement Learning-Based Test-Time Adaptation
최근 제로샷 텍스트 음성 변환(TTS)은 고품질이고 표현력 있는 음성 합성을 가능하게 했지만, 흔하지 않은 시나리오(예: 크로스토크, 방언)에서 보지 못한 말하기 스타일을 모방하는 데 자주 실패한다. 또한 사전학습 모델의 미세조정은 대규모의 고품질 데이터셋을 필요로 하여 신속한 개인화를 제한한다. 본 연구는 사전학습된 제로샷 TTS 모델의 음성 모방을 개선하는 강화학습 기반 테스트 시점 적응(TTA) 방법인 VoiceTTA를 제안한다. VoiceTTA는 F0와 에너지의 변동계수 차이에 기반한 두 가지 스타일 보상을 도입하고, 화자 유사도 및 명료도(사전학습된 Whisper 모델의 WER)와 결합하여, 추론 시점에 flow matching 기반 모델에서 group relative preference optimization(GRPO)을 통해 학습 가능한 prefix를 최적화한다. 광범위한 실험 결과, 흔하지 않은 음성 프롬프트에서 상당한 개선을 보였으며 최신 베이스라인을 능가했다. 오디오 샘플은 https://voicetta.pages.dev/ 에서 확인할 수 있다.
dots.tts 기술 보고서
dots.tts Technical Report
우리는 연속 잠재 공간에서 음성을 모델링하는 2B 매개변수 연속 자기회귀 텍스트 음성 변환(TTS) 파운데이션 모델인 dots.tts를 소개합니다. 기존 연속 자기회귀 모델과 비교하여 핵심 혁신은 세 가지입니다. 첫째, 의미적으로 구조화되고 예측에 친화적인 연속 음성 공간을 구축하기 위해 복수의 목적 함수로 AudioVAE를 학습합니다. 둘째, 생성 중 장거리 일관성을 유지하고 드리프트를 줄이기 위해 플로우 매칭 헤드에 전체 이력 컨디셔닝(full-history conditioning)을 적용합니다. 셋째, 강건성과 음향 품질을 더욱 향상시키기 위해 플로우 매칭 헤드에 보상 없는(reward-free) 자기 교정 사후 학습을 적용합니다. 대규모 다국어 코퍼스로 학습된 dots.tts는 Seed-TTS-Eval에서 최고 평균 성능을 달성하며, zh/en/zh-hard 테스트 셋에서 각각 0.94%/1.30%/6.60%의 단어 오류율(WER)과 81.0/77.1/79.5의 SIM 점수를 기록합니다. 다른 벤치마크에서도 dots.tts는 오픈소스 최첨단 성능을 일관되게 보여주며, 강한 생성 안정성, 음성 복제 능력, 감정 표현력을 나타냅니다. 효율적인 추론을 위해 CFG 인식 MeanFlow 증류를 추가로 적용하여, 출력 스트리밍 및 이중 스트리밍 모드에서 각각 85/54 ms의 첫 패킷 지연으로 저지연 음성 생성을 가능하게 합니다. 재현 가능한 연구와 실용적인 배포를 촉진하기 위해 학습 및 추론 코드와 함께 사전학습, 사후학습, MeanFlow 증류 체크포인트를 Apache 2.0 라이선스 하에 공개합니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.