arXiv:2606.07080v1 cs.SD

dots.tts 기술 보고서

dots.tts Technical Report

Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, Junfeng Tian, Yufeng Ma, Colin Zhang, Kai Yu

제출 2026-06-05

한국어 초록

우리는 연속 잠재 공간에서 음성을 모델링하는 2B 매개변수 연속 자기회귀 텍스트 음성 변환(TTS) 파운데이션 모델인 dots.tts를 소개합니다. 기존 연속 자기회귀 모델과 비교하여 핵심 혁신은 세 가지입니다. 첫째, 의미적으로 구조화되고 예측에 친화적인 연속 음성 공간을 구축하기 위해 복수의 목적 함수로 AudioVAE를 학습합니다. 둘째, 생성 중 장거리 일관성을 유지하고 드리프트를 줄이기 위해 플로우 매칭 헤드에 전체 이력 컨디셔닝(full-history conditioning)을 적용합니다. 셋째, 강건성과 음향 품질을 더욱 향상시키기 위해 플로우 매칭 헤드에 보상 없는(reward-free) 자기 교정 사후 학습을 적용합니다. 대규모 다국어 코퍼스로 학습된 dots.tts는 Seed-TTS-Eval에서 최고 평균 성능을 달성하며, zh/en/zh-hard 테스트 셋에서 각각 0.94%/1.30%/6.60%의 단어 오류율(WER)과 81.0/77.1/79.5의 SIM 점수를 기록합니다. 다른 벤치마크에서도 dots.tts는 오픈소스 최첨단 성능을 일관되게 보여주며, 강한 생성 안정성, 음성 복제 능력, 감정 표현력을 나타냅니다. 효율적인 추론을 위해 CFG 인식 MeanFlow 증류를 추가로 적용하여, 출력 스트리밍 및 이중 스트리밍 모드에서 각각 85/54 ms의 첫 패킷 지연으로 저지연 음성 생성을 가능하게 합니다. 재현 가능한 연구와 실용적인 배포를 촉진하기 위해 학습 및 추론 코드와 함께 사전학습, 사후학습, MeanFlow 증류 체크포인트를 Apache 2.0 라이선스 하에 공개합니다.

원문 초록

We present dots.tts, a 2B-parameter continuous autoregressive text-to-speech (TTS) foundation model that models speech in a continuous latent space. Compared with existing continuous autoregressive models, our key innovations are threefold. First, we train an AudioVAE with multiple objectives to build a semantically structured and prediction-friendly continuous speech space. Second, we use full-history conditioning in the flow-matching head to preserve long-range consistency and reduce drift during generation. Third, we apply reward-free self-corrective post-training to the flow-matching head to further improve robustness and acoustic quality. After being trained on a large-scale multilingual corpus, dots.tts achieves the best average performance on Seed-TTS-Eval, with WERs of 0.94%/1.30%/6.60% and SIM scores of 81.0/77.1/79.5 on the zh/en/zh-hard test sets, respectively. Across other benchmarks, dots.tts also consistently demonstrates open-source state-of-the-art performance, exhibiting strong generation stability, voice cloning ability, and emotional expressiveness. For efficient inference, we further apply CFG-aware MeanFlow distillation, enabling low-latency speech generation with first-packet latencies of 85/54 ms in output streaming and dual-streaming modes, respectively. To facilitate reproducible research and practical deployment, we release the training and inference code, together with the pretrained, post-trained, and MeanFlow-distilled checkpoints, under the Apache 2.0 license.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07080v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02427v1cs.LG공통 태그 Knowledge Distillation, flow matching

플로우 맵 증류를 위한 기하학 인지 시간 재매개변수화

Geometry-Aware Time Reparameterization for Flow-Map Distillation

플로우 맵 증류(flow-map distillation)는 사전학습(pre-training)된 생성 상미분방정식(generative ODE)의 유한 시간 전이(finite-time transition)를 학습함으로써 1단계 및 소수 단계 생성을 가능하게 합니다. 본 연구에서는 교사(teacher) 모델의 시간 매개변수화를 변경하는 것이 이러한 전이 과정을 더 쉽게 학습하도록 만들 수 있는지 조사합니다. 법선 가속도(normal acceleration)가 큰 궤적 구간이 증류(distillation)하기 더 어렵다는 가설에 착안하여, 교사 모델의 기하학적 경로와 종단 분포(terminal distribution)를 보존하면서 이러한 영역에 학생(student) 모델의 시간을 더 많이 할당하는 기하학 인지(geometry-aware) 시간 재매개변수화를 제안합니다. 적절한 가정 하에 모집단 법선 가속도 통계량을 균등화하는 공유 클록(shared clock)을 유도하고, 교사 궤적 전반에 걸친 강건하고 정규화된 추정치로부터 실용적인 근사치를 구성합니다. 이 클록을 라그랑지안 플로우 맵 증류(Lagrangian flow-map distillation)에 통합하여 변환된 시간 좌표를 학생 모델의 조건으로 사용합니다. 이 클록은 증류 전에 한 번만 추정되며 교사 모델의 재학습이나 추가적인 학생 모델 파라미터, 혹은 추론(inference) 시점의 추가 네트워크 평가를 필요로 하지 않습니다. 합성 데이터, CIFAR-10, CelebA-64에 대한 실험은 동일한 추론 예산 하에서 항등 시간 증류(identity-time distillation) 대비 향상된 샘플 품질을 보여주며, 여기에는 1단계 및 2단계 이미지 생성의 성능 향상이 포함됩니다. 중간 샘플링 시간을 조정할 수 없는 1단계 생성에서의 성능 향상은 증류 과정에서 시간 재매개변수화가 제공하는 이점을 명확히 보여줍니다.

arXiv:2609.28107v1cs.RO공통 태그 Knowledge Distillation, flow matching

조건부 플로우 매칭을 통한 효율적인 멀티태스크 조작 정책 지식 증류

Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching

최근 로봇 공학의 정책 학습(policy learning) 분야에서는 생성 모델링의 발전이 광범위하게 활용되고 있습니다. 특히 전문가 시연(demonstration)을 통해 학습된 조건부 플로우 매칭(Conditional Flow Matching, CFM)은 로봇 조작 벤치마크에서 기존 방법들을 능가하는 성능을 보여주었습니다. 이전 연구들은 주로 단일 태스크(single-task) 설정에 집중했으나, 각 태스크마다 독립적인 모델을 학습하는 것은 연산 비용이 많이 들기 때문에 본 연구에서는 이 문제를 멀티태스크(multi-task) 관점에서 다룹니다. 멀티태스크 정책 학습은 고유한 어려움을 수반하는데, 단순히 연결된 시연 데이터셋으로 순진하게 학습(naive training)할 경우 추가된 복잡성을 수용하기 위해 모델 용량을 늘려야 하거나 성능 저하가 발생하기 때문입니다. 이에 본 논문에서는 단일 태스크 CFM 전문가의 학습된 속도장(velocity field)을 전이함으로써 이들의 지식을 공유 멀티태스크 정책으로 증류(distillation)하는 방법을 제안합니다. 또한 시연에 대한 충실도를 유지하기 위해 이 증류 신호를 기존 CFM 목적 함수와 결합합니다. RLBench를 통한 실험 결과, 제안하는 접근 방식은 고정된 모델 크기를 유지하면서도 순진한 학습 방식 대비 멀티태스크 정책 성능을 향상시키는 것으로 나타났습니다.

arXiv:2609.27399v1cs.SD공통 태그 text-to-speech, Voice Cloning

누구를 잊었는지 잊기: 제로샷(zero-shot) 텍스트 음성 변환에서 재식별 방지를 위한 화자 언러닝

Forget who you Forgot: Speaker Unlearning to Prevent Re-Identification in Zero-Shot Text-to-Speech

최근의 제로샷(zero-shot) 텍스트 음성 변환(ZS-TTS) 시스템은 불과 몇 초의 참조 음성만으로도 화자의 음성을 높은 충실도로 재현할 수 있어, 무단 음성 복제 및 사칭에 대한 우려를 낳고 있습니다. 이에 대응하여 최근 제외를 요청한(opt-out) 화자에 대해서는 이러한 기능을 선택적으로 억제하는 동시에 다른 화자에 대한 합성 능력은 보존하는 화자 정체성 언러닝(speaker identity unlearning)이 하나의 접근법으로 부상했습니다. 기존 접근법들은 화자 유사도를 낮추지만, 재식별(re-identification)을 방지하는 과정에서 음질이 심각하게 저하되는 문제에 직면하곤 합니다. 이러한 관찰에 착안하여, 본 논문에서는 동결된 TTS 백본(backbone) 상에서 학습된 화자 게이트와 화자-비의존적 활성화 스티어링(activation steering)을 결합한 경량 화자 정체성 언러닝 프레임워크인 GUARD를 제안합니다. 스티어링 벡터는 명료도와 음성 자연스러움을 보존하면서 망각 대상(forget) 화자의 출력을 모집단 수준의 사칭자(impostor) 유사도로 이동시키기 위해 집단-상대적 보상 최적화(group-relative reward optimization)를 사용하여 최적화됩니다. CosyVoice2에서 GUARD는 유지 대상(retain) 화자의 재현 성능을 보존하면서, 망각 대상 화자의 유사도를 0.541에서 0.103으로, 150명 화자 갤러리에서의 재식별 정확도를 73.5%에서 0.5%로 낮춥니다. 이러한 결과는 유사도 감소만으로는 성공적인 화자 정체성 언러닝을 완전히 특정하기 어려울 수 있음을 입증하며, 언러닝 평가(evaluation)를 위한 상호보완적 기준으로서 재식별을 강조합니다.

arXiv:2609.22913v1cs.CV공통 태그 Knowledge Distillation, flow matching

AVTR-1: 실시간 대화형 아바타를 위한 오픈 스택

AVTR-1: Open Stack for Real-Time Interactive Avatars

토킹헤드(talking-head) 및 이인(dyadic) 모델은 이제 실시간 추론을 달성하지만, 빠른 모션 생성만으로는 대화형 상호작용이 만들어지지 않는다. 라이브 시스템은 모델 출력을 외부 음성 에이전트의 발화와 동기화하고, 재생을 위해 비디오 프레임을 스케줄링하며, 중단(interruption)을 처리해야 한다. 우리는 양 참가자의 오디오에 조건을 건 컴팩트한 1억 5,300만 매개변수(153M-parameter) 자기회귀(autoregressive) flow-matching 모션 생성기를 중심으로 구축한, 실시간 대화형 아바타 대화를 위한 오픈 스택 AVTR-1을 제안한다. 자기 증류(self-distillation)를 통해 오디오 인코더를 스트리밍에 맞게 적응시킨다. 이 스택은 모델의 청크 기반 생성을 외부 음성 에이전트가 구동하는 연속적이고 동기화된 오디오-비디오 스트림으로 바꾸며, 사용자 대면 지연(latency)에 대한 기여를 해석적으로 유도하고 두 상용 음성 에이전트로 그 상한을 검증한다. 추가 실험에서 AVTR-1은 비교된 이인 시스템들 가운데 보고된 모든 시각 품질 지표와 대부분의 기존 청취-모션(listening-motion) 지표에서 우수하며, 입술 동기화(lip synchronization)에서는 경쟁력을 유지한다. 추론 런타임은 데이터센터 및 소비자용 GPU에서 실시간으로 동작한다. 그러나 기존 청취 지표만으로는 짝을 이룬 화자(speaker)의 발화가 생성된 모션에 기여하는지 입증할 수 없다. 따라서 우리는 청취자(listener) 이력과 화자 모션을 고려한 뒤 화자 발화가 추가로 전달하는 예측 정보를 측정하는 Reference-Based Directed Granger Gain(R-DGG)을 도입한다. R-DGG는 녹화된 청취자와 평가된 모든 이인 시스템에서 통계적으로 뒷받침되는 예측 의존성을 보이지만, 짝 오디오 없는 토킹헤드 생성기나 불일치한 화자-청취자 쌍에서는 그렇지 않다. 모델 가중치, 렌더러, 서빙 백엔드를 구성요소별 라이선스 하에 공개한다.

arXiv:2607.22304v1cs.LG공통 태그 text-to-speech, Voice Cloning

합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.

arXiv:2607.20175v1cs.CV공통 태그 Knowledge Distillation, flow matching

PerceptDrive: 엔드투엔드 자율주행을 위한 적응형 전문가 라우팅 기반 인지 사전 세계-행동 모델링

PerceptDrive: Perception Prior World-Action Modeling with Adaptive Expert Routing for End-to-End Autonomous Driving

고정(frozen)된 인지(perception) 기반 모델(foundation model)은 풍부한 기하학적, 의미적, 동적 지식을 인코딩한다. 그러나 좁은 조건화(conditioning) 인터페이스는 과업 관련 단서를 약화시킬 수 있으며, 정적 융합(static fusion)은 장면별로 전문가(expert) 기여를 조정할 수 없다. 우리는 이 과제를 사전(prior)-to-plan 전이(transfer) 문제로 규정하고, 적응형 전문가 라우팅을 갖춘 인지 사전 세계-행동 모델링 프레임워크인 PerceptDrive를 제안한다. PerceptDrive는 고정된 운전(driving) 적응 제공자(provider)로부터 교사 증류(teacher-distilled) 사전과, 고정된 자기지도(self-supervised) 비디오 인코더로부터의 밀집 관측 잠재(dense observation latents)를 학습 가능한 전문가 라우팅 세계-행동 모델에 입력한다. 전문가별 쿼리 분기(query branch)가 이 신호들을 처리하며, 사전 유지(prior-retention) 목적 함수(objective)가 각 분기를 해당 사전에 고정(anchor)한다. 라우터(router)는 공유 장면 표현(scene representation)으로부터 소프트 게이트(soft gate)를 예측하고, 궤적(trajectory) 생성 전에 전문가 조건을 결합한다. 학습(training) 중, 분기별 궤적 초안(trajectory draft)에 대한 특권(privileged) 규칙 기반 하위 지표(sub-metric) 추정치가 소프트 게이트 증류(distillation) 타깃을 제공한다. 예측된 행동 없는(action-free) 미래 잠재(latent)가 flow-matching 액터(actor)를 조건화(condition)한다. 추론(inference) 시에는 특권 구성 요소가 없으며, 전방 카메라 하나로 PerceptDrive는 테스트 시점(test-time) 채점(scoring), 재순위화(reranking), 또는 탐색(search) 없이 계획(planning) 단계마다 하나의 궤적을 생성한다. 실험 결과 PerceptDrive는 NAVSIM v1에서 90.4 PDMS, NAVSIM v2에서 90.2 EPDMS의 최신(state-of-the-art) 성능을 달성하여 기존 방법들을 능가한다. Ablation은 사전 유지와 장면 조건 라우팅(scene-conditioned routing)으로부터의 상보적 이득, 그리고 세 가지 사전에 대한 차별적 의존을 확인한다. 이 결과는 인지 사전을 보존하고 적응적으로 라우팅하는 것이 테스트 시점 후보 선택(candidate selection) 없이 직접 계획(direct planning)을 개선함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.