arXiv:2610.03320v1 cs.AI

정제는 명료도를 높이고 탐색은 화자 동일성을 높인다: 마스크 확산 TTS에서 테스트 시점 연산의 역할

Refinement Buys Intelligibility, Search Buys Identity: What Test-Time Compute Buys in Masked-Diffusion TTS

Nityanand Mathur, Hamees Sayed, Ayush Pratap Singh

제출 2026-10-02

한국어 초록

텍스트 음성 변환(TTS)을 위한 확산 언어 모델(Diffusion language model)은 두 가지 형태의 연산, 즉 모델 깊이(파라미터 수)와 정제 스텝(추론 예산)을 결합합니다. 본 연구에서는 이 두 요소가 여러 성능 전반에 걸쳐 동일하게 확장(scale)되는지 질문을 던집니다. 2,000시간의 음성 데이터로 깊이(1,900만~1억 3,300만 파라미터, 3개 시드)를 다양화한 15개의 마스크 확산 코덱 TTS 모델을 학습하고, 추론 시 정제 스텝 T를 [1, 16] 범위에서 스윕(sweep)하며 174명의 미보유(held-out) 화자에 대해 ASR 단어 오류율(명료도)과 화자 검증(화자 동일성)을 통해 제로샷 합성을 측정합니다. 측정된 하한선 대비 정제는 명료도 범위의 86.2%를 좁히지만 화자 동일성 범위는 46.4%만 좁혀, 여러 오류 지표 전반에서 일관되게 나타나는 1.86배의 비대칭성을 보입니다. 3배 및 6배 스케줄로 재학습하면 이 격차가 완화되기는 하지만(1.84배에서 1.36배, 1.23배로 감소) 역전되지는 않는데, 이는 명료도가 스텝 수에 따라 포화되는 반면 화자 동일성은 계속 개선되기 때문입니다. Best-of-K 탐색은 정제가 실패하는 부분에서 화자 동일성을 회복하며, 네 가지 독립된 인코더 전반에서 64.6~79.0%의 승률을 달성합니다. 깊이와 스텝은 상호 대체 가능하지 않으며, 분리 가능한 B(d)B(T) 모델이 대체 모델보다 유의미하게 더 잘 적합합니다(Delta AICc=+69.3). 분석 결과 남아 있는 화자 동일성 결손의 62%는 생성기가 아닌 코덱에 존재하는 것으로 나타났습니다. 결론적으로 정제와 깊이는 서로 다른 병목을 겨냥하므로 별도로 최적화되어야 합니다.

원문 초록

Diffusion language models for text-to-speech combine two forms of computation: model depth (parameters) and refinement steps (inference budget). We ask whether they scale equally across capabilities. We train 15 masked-diffusion codec TTS models varying depth (19-133M parameters, 3 seeds) on 2,000 hours of speech and sweep refinement steps T in [1,16] at inference, measuring zero-shot synthesis via ASR word error rate (intelligibility) and speaker verification (identity) on 174 held-out speakers. Against measured floors, refinement closes 86.2% of the intelligibility range but only 46.4% of the identity range - a 1.86x asymmetry robust across multiple error metrics. Retraining at 3x and 6x schedule attenuates but does not reverse this gap (1.84 to 1.36 to 1.23x), because intelligibility saturates with steps while identity continues improving. Best-of-K search recovers speaker identity where refinement fails, with 64.6-79.0% win rates across four independent encoders. Depth and steps are not interchangeable: separable B(d)B(T) fits significantly better (Delta AICc=+69.3) than substitution models. Analysis shows 62% of remaining identity deficit lies in the codec, not the generator. We conclude that refinement and depth target different bottlenecks and should be optimized separately.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03320v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27086v1cs.CL공통 태그 Text to Speech, automatic speech recognition asr

NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제

NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task

NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.

arXiv:2609.27980v1cs.CL공통 태그 Computational Efficiency, automatic speech recognition asr

6개 층 축소: 레이블 없는 성능 복원을 적용한 Whisper 인코더 가지치기

Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery

OpenAI의 Whisper와 같이 대규모 사전학습 트랜스포머(transformer) 기반 자동 음성 인식(ASR) 모델을 가지치기(pruning)하는 기법은 디코더를 가지치기하여 종단간(end-to-end) 전사 속도를 크게 향상시킬 수 있어 널리 채택되어 왔습니다. 일례로 {\tt whisper-large-v3-turbo} 변형 모델은 디코더를 32개 층(layer)에서 4개 층으로 줄였으며, Distill-Whisper 또한 유사하게 디코더를 단 2개 층으로 축소했습니다. 인코더 크기를 줄이기 위한 시도에도 일부 관심이 집중되었으나, 널리 채택된 방식은 없었습니다. 이는 압축된 모델을 활용하기 위해 별도의 커스텀 추론(inference) 구현이 필요했기 때문일 수 있습니다. 본 연구에서는 한 층씩 제외(leave-one-layer-out)했을 때의 단어 오류율(WER) 변화를 기준으로 인코더 층의 순위를 매기는 접근법을 제시합니다. 변화를 가장 적게 유발하는 6개 층을 제거하며, 이는 인코더 스택의 $18.5\%$에 해당합니다. 가지치기된 모델은 단순히 층 수가 적어진 더 얕은 인코더이므로 별도의 커스텀 추론 코드가 필요하지 않습니다. 또한 레이블이 없는 단일 언어 음성 데이터를 사용한 지식 증류(distillation)를 수행하여, 제로샷(zero-shot) 층 가지치기로 인해 발생한 성능 저하를 복원합니다. 4개 언어에 대한 평균 WER은 기준선(baseline) $18.2\%$에서 시작하여 제로샷 $21.9\%$ 대비 지식 증류 후 $20.1\%$로 개선됩니다. 본 연구는 모든 코드(https://github.com/rasgaard/whisper-encoder-layer-prune)와 가지치기된 모델(https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned)을 공개합니다.

arXiv:2609.27588v1cs.LG공통 태그 Computational Efficiency, test-time compute

역량 다양체와 ML 스케일링 법칙

The Capability Manifold and ML Scaling Laws

기존 머신러닝(ML) 스케일링 법칙은 예측 손실을 연산량, 모델 파라미터, 데이터에 연관 짓는다. 그러나 모델이 에이전트(agentic) 하네스를 통해 점점 더 배포됨에 따라, 손실만으로는 다운스트림 성능을 특성화하기에 불충분하다. 유사한 손실을 가진 모델이 추론, 검색(retrieval), 계획(planning), 적응(adaptation)에서 서로 다른 역량을 보일 수 있다. 아직도 이러한 역량을 ML 수명 주기 전반에 걸쳐 이용 가능한 결합된 자원과 연결하는 통일된 프레임워크는 없다. 이 간극을 메우기 위해 우리는 역량 다양체(capability manifold)를 도입한다. 이는 경계가 있는 스케일링 함수를 통해 다운스트림 역량을 사전학습, 사후 학습, 테스트 시점 자원에 매핑하는 다차원 프레임워크이다. 해석적 야코비안(Jacobians)은 자원 변화 및 상호작용에 대한 역량 민감도를 정량화한다. 초기 적용으로, 우리는 Kaplan형 및 Chinchilla형 스케일링 법칙과 테스트 시점 연산(test-time compute)을 프레임워크 내에 내장하여, 기존 스케일링 관계가 공통 역량 다양체 상의 궤적으로 통합될 수 있음을 보여준다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.