arXiv:2608.08067v1 cs.CL

DialectS2S: 저자원 중국어 방언을 위한 엔드투엔드 음성 대화 모델링

DialectS2S: End-to-End Speech Dialogue Modeling for Low-Resource Chinese Dialects

Yi Shu, Tianyu Peng, Yingzhuo Deng, Wen Yang, Jun Lin, Changming Xie, Xinyu Yu, Jiajun Zhang

제출 2026-08-08

한국어 초록

현재 엔드투엔드 음성 대화 모델은 주로 주요 언어에 최적화되어 있어, 방언 음성 데이터의 부족으로 인해 저자원 방언 시나리오에서는 여전히 한계가 있습니다. 또한 방언 적응 과정에서 음성 대화 모델의 의미 표상 공간은 지속적으로 진화하는 반면, 기존의 음성 지도(supervision) 방식은 그대로 유지되어 은닉 표상과 음성 타깃 간의 의미적 불일치를 초래하고 음성의 안정성과 자연스러움을 저하시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 중국어 방언을 위한 엔드투엔드 음성 대화 모델인 DialectS2S를 제안합니다. 먼저 효율적인 데이터 구축을 위해 확장 가능한 방언 음성 대화 합성 파이프라인을 개발합니다. 나아가 자기 정렬 음성 지도 방식을 적용한 2단계 사후 학습(post-training) 전략을 도입하여, 음성 지도의 의미적 내용을 모델의 진화된 의미 표상과 정렬함으로써 방언 음성 생성 품질을 향상시킵니다. 실험 결과에 따르면 DialectS2S는 음성 대화에서 여러 중국어 방언에 걸쳐 기존 베이스라인을 일관되게 능가하며, 방언 일관성, 응답 품질, 음성 명료도 측면에서 상당한 향상을 달성했습니다. 본 연구는 저자원 방언 시나리오에서 엔드투엔드 음성 대화 모델링을 위한 효율적이고 확장 가능한 설루션을 제공합니다. 향후 연구와 실질적인 응용을 촉진하기 위해 모델 체크포인트, 학습 데이터셋, 미세조정(fine-tuning) 코드를 포함한 DialectS2S 프레임워크를 완전히 오픈소스로 공개합니다.

원문 초록

Current end-to-end speech dialogue models are primarily optimized for mainstream languages and remain limited in low-resource dialect scenarios due to the scarcity of dialect speech data. Moreover, during dialect adaptation, the semantic representation space of speech dialogue models continuously evolves, while conventional speech supervision remains unchanged, leading to semantic inconsistency between hidden representations and speech targets and degrading speech stability and naturalness. To address these issues, we propose DialectS2S, an end-to-end speech dialogue model for Chinese dialects. We first develop a scalable dialect speech dialogue synthesis pipeline for efficient data construction. We further introduce a two-stage post-training strategy with self-aligned speech supervision, which aligns the semantic content of speech supervision with the evolved semantic representations of the model to improve dialect speech generation quality. Experimental results show that DialectS2S consistently outperforms existing baselines across multiple Chinese dialects in speech dialogue, achieving substantial improvements in dialect consistency, response quality, and speech intelligibility. Our work provides an efficient and scalable solution for end-to-end speech dialogue modeling in low-resource dialect scenarios. To facilitate future research and practical applications, we fully open-source the DialectS2S framework, including model checkpoints, training datasets, and fine-tuning code.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.08067v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.