한국어 초록
이 보고서는 VibeVoice를 소개합니다. VibeVoice는 다음 토큰 디퓨전을 활용하여 여러 화자가 있는 장시간 음성을 합성하도록 설계된 새로운 모델입니다. 다음 토큰 디퓨전은 연속 데이터를 모델링하기 위한 통합 방법으로, 디퓨전을 통해 잠재 벡터를 자가 회귀적으로 생성합니다. 이를 가능하게 하기 위해, 우리는 인기 있는 Encodec 모델과 비교할 때 데이터 압축을 80배 향상시키면서 유사한 성능을 유지하는 새로운 연속 음성 토크나이저를 도입합니다. 이 토크나이저는 오디오 충실도를 효과적으로 유지하면서 긴 시퀀스를 처리하는 데 있어 계산 효율성을 크게 향상시킵니다. 따라서 VibeVoice는 최대 4명의 화자가 있는 64K 컨텍스트 윈도우 길이에서 최대 90분 동안 장시간 음성을 합성할 수 있으며, 진정한 대화의 "분위기"를 포착하고 오픈 소스 및 상용 대화 모델을 초월합니다.
요약
VibeVoice는 여러 화자의 긴 형식 음성을 합성하기 위해 설계된 혁신적인 모델로, 다음 토큰 디퓨전(next-token diffusion) 기법을 활용하여 연속 데이터를 자가 회귀적으로 모델링합니다. 이 모델의 핵심은 새로운 연속 음성 토크나이저로, 이는 기존의 Encodec 모델에 비해 데이터 압축 효율성을 80배 향상시키면서도 유사한 성능을 유지합니다. 이러한 토크나이저는 오디오의 충실도를 효과적으로 보존하며, 긴 시퀀스의 처리에 있어 계산 효율성을 크게 개선합니다. VibeVoice는 최대 4명의 화자를 포함하여 90분까지의 긴 형식 음성을 합성할 수 있으며, 진정한 대화의 "느낌"을 포착하여 기존의 오픈 소스 및 독점 대화 모델을 초월하는 성능을 보여줍니다. VibeVoice의 음성 합성 과정은 두 가지 별도의 토크나이저를 통해 이루어집니다. 첫 번째는 음향 토크나이저로, 변량 오토인코더(Variational Autoencoder, VAE)의 원리를 채택하여 자가 회귀 모델링 환경에서의 잠재적 분산 붕괴 문제를 완화합니다. 이 과정에서 입력 오디오는 잠재 분포의 매개변수로 매핑되며, 재매개변수화 기법을 통해 샘플링됩니다. 두 번째는 의미적 토크나이저로, 음향 토크나이저와 유사한 계층적 아키텍처를 가지지만, 결정론적 콘텐츠 중심의 특성 추출을 목표로 하며 자동 음성 인식(ASR)을 대리 작업으로 사용합니다. VibeVoice는 대규모 언어 모델(Large Language Model, LLM)을 핵심 시퀀스 모델로 사용하며, 전문화된 오디오 인코딩 및 디퓨전 기반 디코딩 모듈과 통합하여 고충실도의 다중 화자 음성 합성을 가능하게 합니다. 모델 입력은 사용자가 지정한 음성 폰트 특징과 텍스트 스크립트를 결합하여 형성되며, 생성된 음성 세그먼트는 두 개의 토크나이저를 통해 인코딩됩니다. 디퓨전 헤드는 LLM의 각 토큰의 숨겨진 상태에 조건화되어 음성을 스트리밍 방식으로 합성하며, 훈련 중에는 깨끗한 음향 VAE 특성에 추가된 노이즈를 예측하여 최적화됩니다. VibeVoice의 훈련 과정에서는 사전 훈련된 음향 및 의미적 토크나이저가 동결 상태로 유지되며, LLM 및 디퓨전 헤드의 매개변수만 학습됩니다. 이러한 접근 방식은 모델의 효율성과 성능을 극대화하며, VibeVoice가 다중 화자 음성을 합성하는 데 있어 중요한 기여를 하고 있음을 보여줍니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.