PiDA: 견고한 베트남어 음성 번역을 위한 음운 정보 기반 데이터 증강
PiDA: Phonetically-Informed Data Augmentation for Robust Vietnamese Speech Translation
한국어 초록
캐스케이드 음성 번역(ST) 시스템은 자동 음성 인식(ASR)이 부정확한 전사 텍스트를 출력할 경우 오류 전파 문제가 발생합니다. 우리는 베트남어 ST에 대한 ASR 오류의 최초의 체계적인 분류를 제시하며, 치환 오류를 음운적 원인별로 분류하고 선형 혼합 효과 모델링을 사용하여 하류 신경망 기계 번역(NMT) 성능에 미치는 영향을 정량화합니다. 대부분의 ASR 치환 오류는 무작위 노이즈가 아닌 음운적 혼동에서 기인하며, 이러한 음운 오류가 ST 품질을 유의미하게 저하시킴을 확인하였습니다. 이러한 발견에 착안하여, 음운 단어 임베딩을 사용하여 단어를 음운적으로 유사한 대안으로 치환함으로써 ASR과 유사한 오류를 생성하는 음운 정보 기반 데이터 증강(Phonetically-Informed Data Augmentation, PiDA)을 제안합니다. FLEURS 베트남어-영어 데이터셋의 PiDA 증강 버전에 대해 미세조정을 수행한 결과, 오류가 있는 ASR 출력의 번역 성능이 개선되었으며(표준 미세조정 대비 최대 +2.04 BLEU), 정제된 텍스트(clean-text) 성능 또한 약간 향상되었습니다.
원문 초록
Cascaded speech translation (ST) systems suffer from error propagation when Automatic Speech Recognition (ASR) outputs incorrect transcripts. We present the first systematic categorization of ASR errors for Vietnamese ST, classifying substitution errors by phonetic cause and quantifying their impact on downstream Neural Machine Translation (NMT) performance using Linear Mixed-Effects Modelling. We confirm that most ASR substitution errors arise from phonetic confusions rather than random noise, and that these phonetic errors significantly degrade ST quality. Motivated by this finding, we propose Phonetically-Informed Data Augmentation (PiDA), which generates ASR-like corruptions by substituting words with phonetically similar alternatives using phonetic word embeddings. Fine-tuning on a PiDA-augmented version of FLEURS Vietnamese-English improves translation of erroneous ASR outputs (up to +2.04 BLEU over standard fine-tuning) while also slightly improving clean-text performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12911v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NAVER LABS Europe Submission to the Instruction-following 2026 Short Track
문법서를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 실험 연구
A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books
대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
LLM 기반 ASR 시스템에서 합성 음성을 활용하는 방법
How to Leverage Synthetic Speech for LLM-Based ASR Systems?
금융 및 의료와 같이 규제된 도메인에서는 개인정보 보호 제약으로 인해 실제 음성을 수집하고 보관하는 비용이 크기 때문에, 민감한 고객 녹음을 노출하지 않고 자동 음성 인식(ASR)을 학습하기 위한 대안으로 최신 텍스트 음성 변환(TTS)의 합성 음성이 매력적인 선택지가 된다. 그러나 합성 데이터와 실제 데이터 사이의 지속적인 분포적 격차는 합성 음성이 실제 녹음을 대체할 수 있는 범위를 제한한다. 기존 연구들은 이 격차를 주로 엔지니어링으로 극복해야 할 블랙박스로 다루었지만, 본 연구에서는 SLAM-ASR 아키텍처를 분석하여 그 원인을 직접 규명한다. LLM 백본이 실제 음성과 합성 음성을 분리하는 위치를 파악한 결과, 판별 신호가 초기~중간 층에 집중되어 있으며, 이 층에서 시간적 및 운율적 섭동이 가장 큰 영향을 미치는 것을 발견했다. 나아가 표현 수준의 분리가능성이 도움이 되기는 하지만, 하류 ASR 성능 향상을 직접적으로 예측하지는 않음을 보였다. 반면, 실내 충격 응답(RIR)과 합성 음성을 합성곱 처리하면 합성 음성을 더 깨끗하거나 자연스럽게 들리게 만드는 방식이 아닌, 실제 녹음의 음향적 불규칙성을 재현함으로써 격차를 좁힌다. 이러한 발견을 학습 절차에 적용하여, 층 선택 모듈과 RIR 증강을 결합하면 실제 음성의 25%만(13.6시간)으로도 완전한 실제 데이터 기준선에 필적하며, 더 높은 비율에서는 기준선을 상회한다.
아동 읽기 학습 및 평가를 위한 자동 음성 인식 솔루션 구축
Building an ASR Solution for Training and Assessing Children's Reading
아동 읽기를 위한 자동 음성 인식(ASR)은 Bambara를 포함한 대부분의 아프리카 언어에서 재현 가능한 문해력 평가에 잠재적 가치가 있음에도 불구하고 아직 충분히 발전하지 못한 상태다. 본 논문은 현장 데이터 수집, 벤치마크 구축, 모델 적응, 읽기 애플리케이션, 교실 검증을 연결하는 엔드투엔드 프로세스를 통해 개발된 Bambara 아동 읽기 평가용 오픈소스 시스템을 제시한다. 모바일 수집 및 평가 앱을 사용하여 60명의 아동으로부터 55시간 분량의 원시 읽기 음성을 수집하였으며, 이를 바탕으로 Bambara 아동 읽기 평가를 위한 공개 벤치마크를 구축하였다. 미세조정 실험에서는 TDT 및 CTC 디코더를 갖춘 Bambara 적응형 Fast-Conformer ASR 프레임워크인 Soloni와 컴팩트한 합성곱 ASR 아키텍처인 QuartzNet을 비교하였다. 최적의 Soloni 모델은 단어 오류율(WER)을 0.42에서 0.22로, 문자 오류율(CER)을 0.15에서 0.08로 감소시켜 고립 벤치마크에서 QuartzNet을 크게 능가하였다. 실험 결과, 동일 텍스트의 반복 읽기는 아키텍처에 따라 상이한 효과를 보였는데, QuartzNet의 성능은 크게 향상된 반면 Soloni에는 미미한 향상만을 가져왔으며, SpecAugment는 최선의 비증강 구성을 초과하지 않는 범위 내에서 학습을 조절하였다. 세분화된 분석에서는 10세 미만 아동이 잔류 오류의 주요 원인으로 확인되어 저연령 독자 대상의 집중적 데이터 수집의 필요성이 제기되었다. 10회의 교실 실험을 통해 애플리케이션의 지속 활용 가능성이 확인되었다.
필터링과 선택을 통한 대규모 약지도 자동 음성 인식 개선
Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
대규모 약지도(weakly supervised) 데이터셋을 활용하는 것은 강건한 종단 간(end-to-end) 자동 음성 인식(ASR) 모델 학습에 필수적이다. 그러나 이러한 데이터셋은 노이즈가 포함된 레이블을 갖는 경우가 많고 도메인 특이성이 부족하여 활용 효과가 제한된다. 이러한 문제를 해결하고 약지도 데이터셋을 보다 효과적으로 활용하기 위해, 본 논문에서는 데이터 필터링과 선택을 결합한 새로운 학습 방법을 제안한다. 제안 방법은 세 단계로 구성된다: 전체 데이터셋에 대한 사전학습, 문자 오류율(CER)을 기준으로 필터링된 부분 집합에 대한 추가 사전학습, 그리고 필터링된 부분 집합에서 목표 도메인과 음향적으로 유사한 소수의 샘플을 선택하여 수행하는 미세조정. 9만 시간 규모의 약지도 일본어 데이터셋을 이용한 실험에서, 제안된 필터링 및 선택 방법은 첫 번째 사전학습 단계에서 이미 사용된 학습 샘플을 재사용함에도 불구하고 CER을 각각 최대 6.4%와 4.0% 시너지적으로 감소시켰다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.