JoyAI-Voice 2.0: 의미-음향 결합 표현을 갖춘 완전 연속 자기회귀 음성 생성 모델
JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation
한국어 초록
본 논문에서는 완전 연속 이중 인코더 아키텍처를 기반으로 구축된 엔드투엔드 의인화 음성 생성 모델인 JoyAI-Voice 2.0을 제시한다. 원시 음성은 연속 잠재 변수(latent)로 인코딩된 후 패치로 분할된다. 각 패치는 의미-음향 이중 인코더에 의해 의미론적으로 정제된 표현과 음향 표현으로 분해되며, 이 둘은 융합되어 계획 수립을 위한 인과적 자기회귀 트랜스포머(Transformer)에 공동으로 입력된다. 트랜스포머는 다음 패치에 대한 조건화를 예측하고, 로컬 디퓨전 트랜스포머가 48 kHz 합성을 위해 전체 잠재 변수를 렌더링한다. 이 모델은 공동 플로우 매칭(flow-matching) 및 정지 예측 목표로 학습된 후, 모델 성능을 향상시키기 위해 지도 미세조정(supervised fine-tuning)과 DiffusionNFT를 활용한 강화학습(reinforcement learning)을 거친다. 본 모델은 Seed-TTS에서 가장 강력한 기준선 대비 14.9% 상대적 감소를 보이며 최저 평균 단어 오류율 2.51%를 달성했고, 중국어와 영어 모두에서 InstructTTSEval의 최고 수준 속성 충실도를 기록했으며, MDVD-Eval에서 0.893의 최고 종합 점수와 함께 10개 지각 차원 중 5개에서 선두를 차지했다.
원문 초록
We present JoyAI-Voice~2.0, an end-to-end anthropomorphic speech generation model built upon a fully continuous, dual-encoder architecture. Raw speech is encoded into continuous latents and partitioned into patches. Each patch is decomposed by a semantic-acoustic dual encoder into a semantically purified representation and an acoustic representation, which are fused and jointly fed to a causal autoregressive Transformer for planning. The Transformer predicts the conditioning for the next patch, and a local diffusion Transformer renders its full latents for 48\,kHz synthesis. The model is trained with a joint flow-matching and stop-prediction objective, followed by supervised fine-tuning and reinforcement learning with DiffusionNFT to improve model performance. It achieves the lowest average word error rate of 2.51\% on Seed-TTS, a 14.9\% relative reduction over the strongest baseline, and state-of-the-art attribute fidelity on InstructTTSEval in both Chinese and English, leading on 5 of 10 perceptual dimensions with the highest overall score of 0.893 on MDVD-Eval.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.