arXiv:2610.08994v1 eess.AS

LLM 기반 음성 인식을 위한 음소 유도 초기화

Phoneme-Guided Initialization for LLM-based Speech Recognition

Ryo Magoshi, Shinsuke Sakai, Tatsuya Kawahara

제출 2026-10-06

저자 비고

arXiv Comments

Accepted at IEEE SLT 2026

한국어 초록

음성 대규모 언어 모델(음성 LLM)은 쌍을 이룬 음성-텍스트 데이터가 충분할 때 자동 음성 인식(ASR)에서 우수한 성능을 보이지만, 저자원 환경에서는 성능이 저하됩니다. 음성-음소(S2P) 변환 후 음소-자소(P2G) 변환을 수행하는 캐스케이드 파이프라인은 이러한 환경에서 엔드투엔드 음성 LLM을 능가하는 것으로 나타났으며, 이는 쌍을 이룬 데이터가 부족할 때 음소 매개 처리가 유용함을 시사합니다. 본 논문에서는 이러한 통찰을 엔드투엔드 프레임워크 내에서 활용하는 간단한 방법인 음소 유도 초기화(phoneme-guided initialization)를 제안합니다. 오디오 인코더를 S2P 작업으로, LLM을 P2G 작업으로 사전학습한 후, 이들을 연결하고 전체 모델을 타깃 ASR 작업에 대해 엔드투엔드로 파인튜닝합니다. 일본어(CSJ), 중국어(AISHELL-1), 그리고 Common Voice 25.0의 두 가지 저자원 언어(타타르어 및 우르두어)에 대한 실험 결과, 본 연구의 방법은 캐스케이드 S2P-P2G 기준선과 P2G 초기화가 없는 엔드투엔드 모델 모두와 동등하거나 이를 능가하는 성능을 보였습니다.

원문 초록

Speech large language models (speech LLMs) perform well on automatic speech recognition (ASR) when sufficient paired speech-text data is available, but their performance degrades in low-resource settings. A cascaded pipeline that performs speech-to-phoneme (S2P) conversion followed by phoneme-to-grapheme (P2G) conversion has been shown to outperform end-to-end speech LLMs in this regime, suggesting that phoneme-mediated processing is beneficial when paired data is scarce. We propose \textit{phoneme-guided initialization}, a simple method that uses this insight within an end-to-end framework: we pre-train the audio encoder on S2P and the LLM on P2G tasks, then connect them and fine-tune the full model end-to-end on the target ASR task. Experiments on Japanese (CSJ), Chinese (AISHELL-1), and two low-resource languages from Common Voice 25.0 (Tatar and Urdu) show that our method matches or outperforms both the cascaded S2P-P2G baseline and the end-to-end model without P2G initialization.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08994v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.