Sada-ASR: 여러 아랍어 방언을 지원하는 운영용 음성 인식 시스템
Sada-ASR: A Production Multidialectal Arabic Speech Recognition System
한국어 초록
아랍어 고객 서비스에 전화한 사람은 자신의 방언으로 말하지만, 음성 인식기는 주로 현대 표준 아랍어(MSA)로 개발하고 평가한다. 인식기가 방언을 제대로 못 알아들으면 다른 기능이 도움을 주기 전에 통화가 막힌다. 본 연구는 EchoNova에서 운영하는 아랍어 음성 에이전트의 인식기 Sada-ASR을 제시한다. MSA와 방언 여덟 가지를 담은 120시간 테스트 세트에서 Microsoft, ElevenLabs, Google, OpenAI, Speechmatics, IFM, Cohere, NVIDIA, Audar의 비교 시스템 11종을 포함한 12종 가운데 단어 및 문자 오류율이 가장 낮았다. 단어 오류율은 11.69%였으며, 가장 우수한 비교 시스템인 Microsoft MAI-Transcribe-2는 13.51%였다. 해당 시스템의 고정된 숫자 및 문자 표기 관례에 영향을 받지 않은 음성에서도 0.74%포인트 앞섰다. 아랍어 변이별로 평균한 단어 오류율은 15.52% 대 16.96%였다. 가장 큰 우위는 오만 방언(4.30%포인트), 이집트 방언(3.78%포인트), 사우디 방언(2.19%포인트)에서 나왔다. 시리아 방언에서는 성능이 비슷했고, 레바논 방언에서는 24.96% 대 23.05%로 뒤졌다. 주로 레바논 방언 단어를 현대 표준 아랍어 형태로 쓰고 발화를 덜 그대로 옮겼기 때문이다. 공개 테스트 세트 여섯 개에서 현재 리더보드 채점 방식의 평균 단어 오류율은 17.17%로 조사한 모든 공개 수치보다 낮았다. 비교 수치에는 Falcon-ASR 20.92%, Jais-ASR 22.85%, Audar-ASR-V1-Turbo 23.17%가 포함된다. 다만 이 시스템들은 같은 채점 방식을 사용했다고 밝히지 않았으므로 비교는 참고 수준이다. Sada-ASR의 데이터 파이프라인과 방법론을 설명하고, 테스트 세트 중 20시간 분량을 채점 코드와 함께 공개한다.
원문 초록
Callers to Arabic customer-service lines speak their own dialect, while speech recognizers are built and evaluated mainly on Modern Standard Arabic (MSA). A recognizer that mishears the dialect breaks the call before anything else can help. We present Sada-ASR, the speech recognizer of EchoNova's production Arabic voice agent. On a 120-hour test set of MSA and eight dialects, it has the lowest word and character error rates of twelve systems, against eleven from Microsoft, ElevenLabs, Google, OpenAI, Speechmatics, IFM, Cohere, NVIDIA and Audar: 11.69% word error rate against 13.51% for the strongest, Microsoft's MAI-Transcribe-2 (a lead of 0.74 points on clips unaffected by that system's fixed number and script conventions), and 15.52% against 16.96% averaged over varieties. Its largest margins are on Omani (4.30 points), Egyptian (3.78) and Saudi (2.19) speech; it is level on Syrian and loses on Lebanese (24.96% against 23.05%), mostly because it writes Lebanese words in MSA forms and is less verbatim. On six public test sets its average word error rate under the leaderboard's current scoring is 17.17%, below every published figure we found, among them Falcon-ASR (20.92%), Jais-ASR (22.85%) and Audar-ASR-V1-Turbo (23.17%), though none of these states that it used that scoring, so the comparison is indicative. We describe the data pipeline and methodology behind Sada-ASR and release a 20-hour subset of the test set with our scoring code.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19512v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.