PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01733v2cs.CL

ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

자동 음성 인식(ASR)에서 대규모 언어 모델(LLM)의 텍스트 사전학습 지식이 ASR 학습 데이터 증가에 따라 희석되는 문제를 해결하기 위해, 정렬된 음성-텍스트 쌍 내에서 단어 및 세그먼트 단위로 두 모달리티를 교차 배치하는 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간 ASR 데이터 실험에서 JSTIP은 ASR 전용 학습 및 단순 음성-텍스트 공동 학습 대비 일관된 개체명 인식 정확도 향상을 달성하였으며, 제로샷 음성 질의응답 능력도 보존함을 확인했다.

arXiv:2606.22473v1cs.CL

교차 음성-텍스트 언어 모델은 잠재적으로 텍스트 공간에서 작동한다

Interleaved Speech Language Models Latently Work In Text

로짓 렌즈(logit lens)로 다양한 교차(interleaving) 음성-텍스트 SLM을 분석한 결과, 음성 인식을 위한 학습 없이도 중간 레이어에서 발화 단어가 텍스트 토큰으로 암시적 전사되고, 이후 텍스트 공간에서 다음 단어를 예측한 뒤 다시 음성 영역으로 되돌아가는 내부 동작이 확인되었다. 이 전사는 최대 77%의 사례에서 상위 후보로 나타나며, 텍스트 LM 초기화와 교차 학습 데이터가 모두 필요하고 구어적 사실 지식 능력과도 양의 상관을 보인다.