다국어 음성 인식을 위한 LLM 기반 음소-자소 변환의 발전
Advancing LLM-based phoneme-to-grapheme for multilingual speech recognition
음소 기반 자동 음성 인식(ASR)은 인식을 음성-음소(S2P) 및 음소-자소(P2G)로 인수분해하여, 언어별 표기 체계를 별도 모듈로 유지하면서도 언어 간 음향 공유를 가능하게 합니다. 대규모 언어 모델(LLM)이 P2G에 유망하지만, 언어 인식적 생성과 극심한 언어 간 데이터 불균형으로 인해 다국어 P2G는 여전히 난제로 남아 있습니다. 본 연구에서는 10개 언어로 구성된 CV-Lang10 벤치마크에서 다국어 LLM 기반 P2G를 조사합니다. DANP와 단순화된 SKM(S-SKM)을 포함하여 S2P 불확실성을 고려하는 강건성 전략을 살펴봅니다. S-SKM은 P2G 학습 시 CTC 기반 S2P 확률 가중치를 배제하는 몬테카를로 근사 기법입니다. 강건한 학습과 저자원 오버샘플링을 통해 평균 단어 오류율(WER)을 10.56%에서 7.66%로 낮춥니다.