ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습
Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
자동 음성 인식(ASR)에서 대규모 언어 모델(LLM)의 텍스트 사전학습 지식이 ASR 학습 데이터 증가에 따라 희석되는 문제를 해결하기 위해, 정렬된 음성-텍스트 쌍 내에서 단어 및 세그먼트 단위로 두 모달리티를 교차 배치하는 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간 ASR 데이터 실험에서 JSTIP은 ASR 전용 학습 및 단순 음성-텍스트 공동 학습 대비 일관된 개체명 인식 정확도 향상을 달성하였으며, 제로샷 음성 질의응답 능력도 보존함을 확인했다.