arXiv:2611.01143v1 cs.CL

GSLM2: 다중 스트림 음성 표현 학습과 생성형 음성 언어 모델링

GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling

Yosuke Higuchi, Tom Fizycki, Mahi Luthra, Charles-\'Eric Saint-James, Azeez Syed, Angel Villar-Corrales, Mido Assran, Nicolas Ballas, Jiayi Shen, Dongyan Lin, Phillip Rust, Surya Parimi, Vanessa Stark, Alexandre Allauzen, Bal\'azs Kegl 외 2명

제출 2026-11-03

한국어 초록

생성형 음성 언어 모델(SLM)은 음성만으로 언어 구조를 학습하는 경로를 제공하지만, 능력과 데이터 확장 효율 모두에서 텍스트 기반 모델에 크게 뒤처진다. 우리는 이러한 격차의 두 가지 병목을 확인하였다. 하나는 기존 음성 단위의 제한적인 언어적 품질이고, 다른 하나는 음성을 표현하기 위해 단일 이산 단위 스트림에 의존한다는 점이다. 여러 코드북은 음향 특징을 인코딩하는 데 널리 쓰이지만 음성 의미를 표현하는 데는 거의 쓰이지 않는다. 본 연구는 여러 추상화 수준에서 음성의 상보적 속성을 학습하고 모델링하는 GSLM2를 제시한다. 그 인코더인 SpidR 2.0은 미분 가능한 예측 헤드를 활용한 자기지도 학습으로 여러 수준에서 고품질 이산 단위를 유도한다. 이어서 다중 스트림 SLM이 공유 시간 백본, 스트림별 예측기, 스트림 간 의존성을 포착하는 자기회귀 헤드를 이용해 이러한 단위를 함께 모델링한다. 최대 6M 시간, 6.5B 매개변수에 이르는 학습 데이터 크기와 모델 규모 전반에서 GSLM2는 언어적 능력을 일관되게 개선하면서 데이터에 대해 더 효율적으로 확장된다. 그 결과 음성 LM과 텍스트 기반 LM 사이의 격차를 크게 좁히며, 낭독 및 대화 음성 영역 전반에서 sWuggy, sBLIMP, tSC에서 격차를 약 두 자릿수 크기만큼 줄이고, 세 과제 모두에서 경쟁력 있는 음성-텍스트 시스템도 능가한다. 학습 코드와 모델 체크포인트를 https://github.com/facebookresearch/gslm2 에 오픈소스로 공개한다.

원문 초록

Generative spoken language models (SLMs) offer a route to learning linguistic structure purely from speech, yet they lag far behind text-based models in both capability and data scaling efficiency. We identify two bottlenecks underlying this gap: the limited linguistic quality of existing speech units and the reliance on a single stream of discrete units to represent speech. Multiple codebooks are widely used to encode acoustic features but rarely to represent speech semantics. We present GSLM2, which learns and models complementary properties of speech at multiple levels of abstraction. Its encoder, SpidR 2.0, uses self-supervised learning with differentiable prediction heads to induce high-quality discrete units at multiple levels. A multi-stream SLM then jointly models these units using a shared temporal backbone, stream-specific predictors, and an autoregressive head that captures cross-stream dependencies. Across training data sizes and model scales, up to 6M hours and 6.5B parameters, GSLM2 consistently improves linguistic competence while scaling more efficiently with data. As a result, it substantially narrows the gap between spoken and text-based LMs; across read and conversational speech domains, we shrink the gap by about two orders of magnitude on sWuggy, sBLIMP, and tSC, while also outperforming competitive speech-text systems on all three tasks. We open-source the training code and model checkpoints at https://github.com/facebookresearch/gslm2.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.01143v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.