arXiv:2610.01492v1 cs.SD

Q-SPT: 저프레임률 음성 토큰화를 위한 학습 가능한 쿼리 기반 압축

Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization

Jeeyoung Yun, Seohwan Yun, Sungwoong Kim

제출 2026-10-01

한국어 초록

신경망 음성 코덱은 음성 언어 모델(SLM)의 토크나이저로 점점 더 널리 활용되고 있습니다. 프레임률을 낮추면 SLM의 연산 및 메모리 비용을 줄일 수 있지만, 언어적 정보와 음향적 세부 사항을 모두 보존하기는 어려워집니다. 기존 접근 방식은 규칙 기반 압축에 의존합니다. 예를 들어 평균 풀링(average pooling)은 언어적 정보를 유실할 수 있으며, 유사도 기반 병합은 인접 프레임 유사도에 고정 임계값을 적용하고 그 결과로 도출된 경계를 음향 스트림에 일괄 적용합니다. 본 논문에서는 의미론적 및 음향적 표현에 특화된, 맥락 인식 기반의 분리된 학습 가능한 쿼리 기반 압축기를 사용하는 저프레임률 이중 스트림 음성 토크나이저인 Q-SPT를 제안합니다. 특히 고정 비율의 쿼리가 의미론적 스트림과 음향적 스트림을 독립적인 키-값(key-value) 소스로 참조하여 어텐션(attention)을 수행함으로써, 개별 학습된 두 개의 압축기를 통해 스트림별 맥락 인식 집계를 가능하게 합니다. 또한, 자기회귀 텍스트 손실(autoregressive text loss)을 통해 의미론적 압축기를 명시적으로 지도하여 언어적 정보를 보존합니다. 실험 결과에 따르면, Q-SPT는 동일 프레임률에서 평가된 코덱 중 가장 우수한 복원 성능을 달성합니다. 다운스트림 SLM에서도 경쟁력 있는 명료도와 함께 가장 뛰어난 음성 인식 정확도 및 텍스트 음성 변환 인지 품질을 제공합니다.

원문 초록

Neural speech codecs increasingly serve as tokenizers for speech language models (SLMs). Lowering the frame rate reduces the computational and memory costs of SLMs, but makes it difficult to preserve both linguistic information and acoustic detail. Existing approaches rely on rule-based compression: average pooling can discard linguistic information, whereas similarity-based merging uses a fixed threshold on adjacent-frame similarity and applies the resulting boundaries to the acoustic stream. We propose Q-SPT, a low-frame-rate dual-stream speech tokenizer with separate, context-aware, learnable query-based compressors specialized for semantic and acoustic representations. In particular, queries at a fixed rate independently attend to the semantic and acoustic streams as separate key-value sources, enabling stream-specific, context-aware aggregation through two separately learned compressors. In addition, an autoregressive text loss explicitly supervises the semantic compressor to preserve linguistic information. Experimental results show that Q-SPT achieves the best reconstruction among the evaluated codecs at the same frame rate. In downstream SLMs, it yields the best speech recognition accuracy and text-to-speech perceptual quality with competitive intelligibility.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01492v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.