ASR Error Correction and Domain Adaptation Using Machine Translation
원문 초록
Off-the-shelf pre-trained Automatic Speech Recognition (ASR) systems are an increasingly viable service for companies of any size building speech-based products. While these ASR systems are trained on large amounts of data, domain mismatch is still an issue for many such parties that want to use this service as-is leading to not so optimal results for their task. We propose a simple technique to perform domain adaptation for ASR error correction via machine translation. The machine translation model is a strong candidate to learn a mapping from out-of-domain ASR errors to in-domain terms in the corresponding reference files. We use two off-the-shelf ASR systems in this work: Google ASR (commercial) and the ASPIRE model (open-source). We observe 7% absolute improvement in word error rate and 4 point absolute improvement in BLEU score in Google ASR output via our proposed method. We also evaluate ASR error correction via a downstream task of Speaker Diarization that captures speaker style, syntax, structure and semantic improvements we obtain via ASR correction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
TASK AWARE MULTI-TASK LEARNING FOR SPEECH TO TEXT TASKS
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
대규모 다국어 자동 음성 인식에서 언어적 유사성이 교차 언어 전이에 미치는 영향 평가
Evaluating the Effect of Linguistic Relatedness on Cross-Lingual Transfer in Large Multilingual Automatic Speech Recognition
저자원 아프리카 언어로 자동 음성 인식(ASR)을 확장하는 것은 대규모 데이터 수집의 막대한 부담으로 인해 제약를 받는다. 유망한 방향은 저자원 목표 언어와 모델이 이전에 학습한 언어 간의 언어적 유사성을 활용하여, 효과적인 적응에 필요한 목표 언어 데이터의 양을 줄이는 것이다. 이 접근법은 텍스트 기반 모델에서는 신뢰할 만한 효과가 입증되었으나, 음성 영역에서는 그 효과가 여전히 논란 중이다. 본 연구는 6가지 요인, 두 개의 아프리카 중심 코퍼스, 네 개의 대규모 ASR 모델에 걸친 체계적인 통제 실험 설계를 통해, 관련 보조 언어에 먼저 적응한 뒤 목표 언어에 적응하는 순차적 절차로 이러한 조건 전반에서 언어적 유사성이 교차 언어 전이 이득을 신뢰할 수 있게 예측하는지 검증한다. 모든 설정에서 목표 언어 데이터가 1시간에 불과해도, 관련 보조 언어에 대한 사전 적응은 실질적으로 의미 있는 개선을 가져오지 않았으며, 이는 유사성만으로는 대규모 다국어 ASR에서 전이 이득을 신뢰할 수 있게 예측하지 못하거나, 이러한 모델을 저자원 언어로 확장하는 효과적인 전략이 되지 못할 수 있음을 시사한다.
교차언어 전이와 LoRA 어댑터 병합을 통한 저자원 아랍 문자 언어의 생의학 기계 번역
Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging
우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.
온디바이스 실시간 자막 번역을 위한 워크로드 기반 최적화
Workload-Driven Optimization for On-Device Real-Time Subtitle Translation
본 보고서는 짧은 입력, 짧은 출력, 배치 크기 1 추론, 낮은 지연 시간, 프라이버시 제약 조건 하에서 대만을 위한 온디바이스 영어-번체 중국어 자막 번역을 연구한다. 이러한 조건은 긴 컨텍스트 또는 높은 처리량의 모델 서빙용으로 설계된 최적화의 가치를 제한한다. LMT-60-0.6B를 시작점으로, 예비 프로파일링에 따르면 GGUF 양자화가 트랜스포머 블록의 상대적 비용을 줄인 후 어휘 투영(vocabulary projection)이 디코드 시점 비용에서 더 중요한 요소가 되는 것으로 나타난다. 원본 151k 토큰 어휘를 64k 토큰 자막 도메인 토크나이저로 교체하고, 임베딩 공간을 이전하며, 임베딩 보정(embedding calibration) 후 전체 지도 미세조정을 통해 모델을 적응시킨다. OpenSubtitles2024 테스트 세트에서 LocalSubs는 GPT-4o의 쌍별 판정(pairwise judging) 하에 Google Translate 대비 동률 제외 승률 59.2%를 달성한다. 성능은 짧은 큐(cue)에서 가장 강하고, 큐 길이가 증가함에 따라 하락한다. 별도의 예비 Apple M2 Metal 프로파일링 실행에서 LocalSubs는 151k 어휘 기준선 대비 1.63배 속도 향상을 보인다. 코드는 https://github.com/aiden1020/localsubs 에서 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.