PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05612v1cs.CL

현대 엔드-투-엔드 음성 인식에서 언어 모델 퍼플렉시티와 ASR 단어 오류율 간의 관계 재고

Revisiting the Relation Between Language Model Perplexity and ASR Word Error Rate for Modern End-to-End Speech Recognition

현대 엔드투엔드(end-to-end) ASR 시스템에서 언어 모델 퍼플렉시티(PPL)와 단어 오류율(WER) 간의 관계를 재검토하여, 외부 LM이 여전히 CTC 및 AED 모델을 개선하며 로그-로그 공간에서 선형 관계가 대체로 유지됨을 보인다. 특히 AED 시스템에서 내부 언어 모델(ILM) 차감이 PPL-WER 관계를 변화시키며, LLM 퍼플렉시티는 일반 신경망 LM과 동일한 추세를 따름을 실험적으로 분석한다.

arXiv:2606.21237v1cs.CL

OpenWER: 다국어 ASR 평가 개선 및 토큰 기반 정확도 지표 지원

OpenWER: Improving Cross-Lingual ASR Evaluation and Enabling Token-Based Accuracy Metrics

심층 학습과 end-to-end 자동 음성 인식(ASR)의 발전으로 견고한 다국어 모델이 가능해졌지만, 평가 지표는 정확도를 평가하는 데 여전히 한계가 있다. 공통 지표인 단어 오류율(Word Error Rate, WER)을 개선하거나 대체하려는 노력은 종종 영어에 집중되어, 저자원 언어에 대한 평가는 충분히 탐구되지 않아 공정한 다국어 비교를 방해한다. 우리는 OpenWER을 제안한다. 이는 언어별 정규화(normalisation)와 복합어 탐지를 통해 WER의 견고성을 개선하는 오픈소스 구현이다. 토큰 기반 Levenshtein 정렬은 상보적 지표를 보존하고, 세분화된 정확도 점수를 위한 메타데이터 임베딩을 가능하게 한다. 52개 언어에 대한 분석 결과, 일반적인 라이브러리와 비교해 WER이 최대 25%p 절대 감소했다. OpenWER은 다양한 언어에서 WER의 신뢰성을 높이고 보다 포괄적인 정확도 평가를 가능하게 함으로써 ASR 연구의 공정성에 기여한다.