PyTorchKR Papers

최신 논문

총 112편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30237v2cs.CL

네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구

Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study

개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.

arXiv:2606.30356v2cs.CL

OLIVE: 음성 자기지도학습을 위한 뷰 증강 잠재 예측과 파형 재구성

OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL

We propose Online Latent prediction with Invariant Views and rEconstruction (OLIVE), a self-supervised speech representation learning framework that jointly optimizes analysis and synthesis objectives. OLIVE couples masked latent prediction and waveform reconstruction through a functional separation within a single encoder: reconstruction constrains early encoder features to retain signal-level information, while masked latent prediction shapes later contextual representations for robust downstream performance, with waveform view augmentations defining the invariances they learn. To the best of our knowledge, OLIVE is the first speech SSL model that directly reconstructs waveforms, retains its vocoder after pre-training, and remains competitive on discriminative tasks. Adding reconstruction largely preserves the speech recognition performance of masked latent prediction alone, while improving waveform reconstruction and speaker tasks. Adding waveform mixup and gain augmentations provides a controllable way to shift the representations further toward speaker, generation, and reconstruction tasks, while remaining competitive on recognition and semantic tasks.

arXiv:2608.24707v3cs.CL

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

arXiv:2606.11542v2cs.CL

사전학습된 자기지도 음성 모델은 미학습된 자음을 인식할 수 있다

Pretrained self-supervised speech models can recognize unseen consonants

현대의 사전학습된 자기지도 자동 음성 인식(ASR) 모델은 대규모 오디오 데이터로 학습되어 음성을 문맥화된 표현으로 인코딩합니다. 그러나 학습 데이터가 저자원 언어 데이터는 거의 없이 고자원 언어에 크게 치우쳐 있어, 주로 코이산(Khoisan)어족 언어에서 발견되는 흡착음(click consonant, 클릭 자음)처럼 유형론적으로 흔치 않은 말소리가 제대로 표현되지 못할 수 있다는 우려가 제기됩니다. 이는 본 연구의 핵심 질문으로 이어집니다. 이러한 모델들이 다른 말소리만큼 흡착음을 정확하게 인식할 수 있을까요? 이 질문을 해결하기 위해, 본 연구에서는 흡착음이 풍부한 두 코이산어(G|ui 및 West !Xoon) 데이터를 바탕으로 사전학습된 자기지도 음성 모델(Wav2Vec2 및 HuBERT)을 파인튜닝(fine-tuning)하고 비교합니다. 실험 결과, 파인튜닝된 모델들이 비흡착음보다 흡착음을 일관되게 더 정확하게 인식함을 확인했으며, 이는 자기지도 학습이 희귀 음소를 포함한 인간 말소리 전반에 걸친 일반화를 가능하게 함을 시사합니다.

arXiv:2610.03320v1cs.AI

정제는 명료도를 높이고 탐색은 화자 동일성을 높인다: 마스크 확산 TTS에서 테스트 시점 연산의 역할

Refinement Buys Intelligibility, Search Buys Identity: What Test-Time Compute Buys in Masked-Diffusion TTS

텍스트 음성 변환(TTS)을 위한 확산 언어 모델(Diffusion language model)은 두 가지 형태의 연산, 즉 모델 깊이(파라미터 수)와 정제 스텝(추론 예산)을 결합합니다. 본 연구에서는 이 두 요소가 여러 성능 전반에 걸쳐 동일하게 확장(scale)되는지 질문을 던집니다. 2,000시간의 음성 데이터로 깊이(1,900만~1억 3,300만 파라미터, 3개 시드)를 다양화한 15개의 마스크 확산 코덱 TTS 모델을 학습하고, 추론 시 정제 스텝 T를 [1, 16] 범위에서 스윕(sweep)하며 174명의 미보유(held-out) 화자에 대해 ASR 단어 오류율(명료도)과 화자 검증(화자 동일성)을 통해 제로샷 합성을 측정합니다. 측정된 하한선 대비 정제는 명료도 범위의 86.2%를 좁히지만 화자 동일성 범위는 46.4%만 좁혀, 여러 오류 지표 전반에서 일관되게 나타나는 1.86배의 비대칭성을 보입니다. 3배 및 6배 스케줄로 재학습하면 이 격차가 완화되기는 하지만(1.84배에서 1.36배, 1.23배로 감소) 역전되지는 않는데, 이는 명료도가 스텝 수에 따라 포화되는 반면 화자 동일성은 계속 개선되기 때문입니다. Best-of-K 탐색은 정제가 실패하는 부분에서 화자 동일성을 회복하며, 네 가지 독립된 인코더 전반에서 64.6~79.0%의 승률을 달성합니다. 깊이와 스텝은 상호 대체 가능하지 않으며, 분리 가능한 B(d)B(T) 모델이 대체 모델보다 유의미하게 더 잘 적합합니다(Delta AICc=+69.3). 분석 결과 남아 있는 화자 동일성 결손의 62%는 생성기가 아닌 코덱에 존재하는 것으로 나타났습니다. 결론적으로 정제와 깊이는 서로 다른 병목을 겨냥하므로 별도로 최적화되어야 합니다.

arXiv:2610.03017v1cs.AI

인공 대화를 활용한 구음장애 및 기관절개술 환자를 위한 개인 맞춤형 자동 음성 인식

Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations

본 연구에서는 영구적인 기관루(tracheal stoma)를 가지고 있으며 훈련되지 않은 청자가 알아듣기 힘든 중증 구음장애(dysarthria)를 겪는 체코어 화자를 위해 개인 맞춤화된 자동 음성 인식(ASR) 시스템을 제시합니다. 연구진은 높은 몰입도와 대화의 사실성을 위해 고안된 새로운 "인공 대화(artificial conversation)" 프로토콜을 사용하여 수집한, 해당 화자의 주석이 달린 33시간 분량의 음성을 포함하는 공개 데이터셋을 발표합니다. 또한 Whisper Base를 기반으로 한 다단계 학습(training) 파이프라인을 제안하며, 이는 표준 체코어 음성, 음향적으로 시뮬레이션된 기관절개술 환자 음성, 그리고 해당 화자의 데이터에 대한 미세조정(fine-tuning)으로 구성됩니다. 대본 기반 대화, 질의응답, 자발적 대화라는 세 가지 준실시간(near real-time) 시나리오에 걸쳐 시스템을 평가한 결과, Whisper Base 기준선(baseline) 대비 문자 오류율(Character Error Rate)을 상대적으로 50% 줄였으며, 고립된 발화의 음향 인식에서 화자 보조인들의 평균 인식 정확도를 능가했습니다. 정량적 결과와 화자의 피드백을 통해 입증된 바와 같이, 심각한 장애가 있는 음성에 대해서도 실질적인 도움이 되는 ASR 구현이 가능함을 보여줍니다.

arXiv:2610.02638v1cs.AI

디코딩 없는 배치 음성 의사결정: 단일 토큰 감독을 통해 동결된 LLM이 전사본 너머의 음성을 듣게 하다

Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript

전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.

arXiv:2606.20179v2cs.CL

ReNikud: 오디오 지도 기반의 히브리어 자소-음소 변환

ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Conversion

현대 히브리어의 자소-음소(G2P) 변환은 텍스트 음성 변환(TTS)과 같은 응용 분야에 필요하지만, 모음이 대부분 표기되지 않아 상당한 모호성을 야기하는 아브자드(abjad) 문자 체계로 인해 까다롭습니다. 표준적인 접근 방식은 국제음성기호(IPA) 전사를 생성하기 위해 먼저 모음 기호(nikud)를 예측하지만, 이는 한계가 있습니다. 모음화 데이터는 희소하고 구축하기 번거로우며, 어휘 강세와 같은 특징을 명시하지 않고, 일상적인 구어 발음보다는 형식적인 문법 규칙을 반영합니다. 한편 직접적인 시퀀스-투-시퀀스(sequence-to-sequence) IPA 예측은 제한된 데이터에서 어려움을 겪으며 아브자드의 특성인 문자 수준 정렬을 활용하지 못합니다. 본 논문에서 제안하는 ReNikud는 두 가지 핵심 통찰을 통해 이러한 한계를 극복합니다. (1) 수천 시간 분량의 레이블 없는 히브리어 오디오에 음소 기반 자동 음성 인식(ASR) 의사 레이블링 파이프라인을 적용하는 약한 오디오 지도(weak audio supervision)를 통해, 수작업 어노테이션 없이도 자연스러운 구어 규범을 반영하는 음소 전사를 도출합니다. (2) 각 문자 위치에서 IPA 음소를 예측하여 문자 수준 정렬을 귀납적 바이어스(inductive bias)로 강제하는 의사 모음화(pseudo-vocalization) 아키텍처를 도입합니다. 기존 히브리어 G2P 벤치마크와 구어 히브리어를 위해 새로 구축된 MILIM 벤치마크 평가 결과, ReNikud는 기존 최고 수준(SOTA)의 성능을 뛰어넘었습니다. 히브리어 TTS 및 음성 기술 연구를 지원하기 위해 코드와 학습된 모델을 공개할 예정입니다.

arXiv:2609.27980v1cs.CL

6개 층 축소: 레이블 없는 성능 복원을 적용한 Whisper 인코더 가지치기

Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery

OpenAI의 Whisper와 같이 대규모 사전학습 트랜스포머(transformer) 기반 자동 음성 인식(ASR) 모델을 가지치기(pruning)하는 기법은 디코더를 가지치기하여 종단간(end-to-end) 전사 속도를 크게 향상시킬 수 있어 널리 채택되어 왔습니다. 일례로 {\tt whisper-large-v3-turbo} 변형 모델은 디코더를 32개 층(layer)에서 4개 층으로 줄였으며, Distill-Whisper 또한 유사하게 디코더를 단 2개 층으로 축소했습니다. 인코더 크기를 줄이기 위한 시도에도 일부 관심이 집중되었으나, 널리 채택된 방식은 없었습니다. 이는 압축된 모델을 활용하기 위해 별도의 커스텀 추론(inference) 구현이 필요했기 때문일 수 있습니다. 본 연구에서는 한 층씩 제외(leave-one-layer-out)했을 때의 단어 오류율(WER) 변화를 기준으로 인코더 층의 순위를 매기는 접근법을 제시합니다. 변화를 가장 적게 유발하는 6개 층을 제거하며, 이는 인코더 스택의 $18.5\%$에 해당합니다. 가지치기된 모델은 단순히 층 수가 적어진 더 얕은 인코더이므로 별도의 커스텀 추론 코드가 필요하지 않습니다. 또한 레이블이 없는 단일 언어 음성 데이터를 사용한 지식 증류(distillation)를 수행하여, 제로샷(zero-shot) 층 가지치기로 인해 발생한 성능 저하를 복원합니다. 4개 언어에 대한 평균 WER은 기준선(baseline) $18.2\%$에서 시작하여 제로샷 $21.9\%$ 대비 지식 증류 후 $20.1\%$로 개선됩니다. 본 연구는 모든 코드(https://github.com/rasgaard/whisper-encoder-layer-prune)와 가지치기된 모델(https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned)을 공개합니다.

arXiv:2609.27289v1cs.CL

Ruby-ASR: 정서법과 어휘 읽기의 결합 인식을 위한 증거 보존 감독

Ruby-ASR: Evidence-Preserving Supervision for Joint Orthographic and Lexical-Reading Recognition

기존 일본어 자동 음성 인식(ASR)은 정서법 전사로 감독되지만, 동일한 표기 형태가 발화에서 실현되는 서로 다른 어휘 읽기에 대응할 수 있다. 이러한 발화는 동일한 타깃을 받으므로 읽기 구별은 감독 인터페이스에 포함되지 않으며, 사후적인 텍스트 전용 grapheme-to-phoneme 변환으로는 신뢰하게 복구할 수 없다. 우리는 Ruby-ASR을 제안하며, 이는 기존 타깃을 구간에 묶인 정서법–어휘 읽기 시퀀스로 정교화한다. 문장 전체의 정서법 출력과 음운론적 출력을 분리하는 방식과 달리, ruby 표현은 각 표기 구간을 실현된 읽기에 국소적으로 결합하고 두 관점 모두를 결정적으로 복구할 수 있게 한다. 자막 스타일 및 속기(verbatim) 스타일 전사 규약 하에서 Qwen3-ASR 백본으로 타깃을 구현하고, 모라(mora) 수준 CTC 목적 함수가 단조(monotonic) 읽기 감독을 보조한다. 다섯 개의 일본어 벤치마크에 걸친 실험 결과는 인식 타깃을 정교화하면 가독 가능한 정서법 전사를 희생하지 않고 어휘 읽기 복구를 개선할 수 있음을 보여 준다. 체크포인트와 추론 코드를 공개한다.

arXiv:2609.27086v1cs.CL

NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제

NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task

NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.

arXiv:2605.28211v2cs.CL

유용한 컨텍스트가 유출될 때: 도메인 적응 ASR의 프라이버시 위험

When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR

SpeechLLM은 도메인 맞춤화가 일반적인 전문 환경에서 점점 더 많이 배포되고 있다. 사용자는 민감한 정보가 담긴 컨텍스트를 프롬프트로 제공하거나, 자체 보유한 녹음 데이터로 미세조정하거나, 혹은 두 가지를 모두 수행한다. 본 연구는 이러한 맞춤화에서 간과되어 온 프라이버시 위험을 규명하고 체계적으로 조사한다. 도메인 특화 용어를 인식하도록 적응된 모델은 다른 단어가 발화되었더라도 컨텍스트나 학습 데이터에 있는 발음이 유사한 단어를 전사하도록 유도될 수 있으며, 그 결과 비공개 정보가 유출된다. 이 위험을 평가하기 위해 우리는 이러한 공격의 벤치마크를 자동으로 구성하는 기법을 제안하고, 이를 적용하여 프롬프트와 미세조정이라는 두 가지 맞춤화 메커니즘 전반의 유출률을 측정한다. 두 메커니즘 모두 측정 가능한 수준의 유출을 일으키며, 함께 사용하면 유출이 누적된다. 또한 프롬프트 수준의 완화 전략을 평가하고 맞춤화 접근법별 정확도-유출 간 트레이드오프를 분석한 결과, 컨텍스트 프롬프트 없이 미세조정하는 방식이 가장 좋은 균형을 제공함을 확인하였다.

arXiv:2607.01733v2cs.CL

ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

자동 음성 인식(ASR)에서 대규모 언어 모델(LLM)의 텍스트 사전학습 지식이 ASR 학습 데이터 증가에 따라 희석되는 문제를 해결하기 위해, 정렬된 음성-텍스트 쌍 내에서 단어 및 세그먼트 단위로 두 모달리티를 교차 배치하는 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간 ASR 데이터 실험에서 JSTIP은 ASR 전용 학습 및 단순 음성-텍스트 공동 학습 대비 일관된 개체명 인식 정확도 향상을 달성하였으며, 제로샷 음성 질의응답 능력도 보존함을 확인했다.

arXiv:2606.22790v5cs.SD

오디오 모델의 효율적인 스케일링: 규모, 해상도, 적응, 정밀도 및 희소성의 결합 최적화

Scaling Audio Models Efficiently: Joint Optimization of Scale, Resolution, Adaptation, Precision, and Sparsity

Whisper와 같은 대규모 자동 음성 인식(ASR) 모델은 메모리 및 추론(inference) 속도 제약이 크게 다른 다양한 하드웨어 전반에 배포되어야 합니다. 본 논문에서는 모델 크기, 시간 해상도, 인코더 토큰(token) 스트라이드, 저순위 적응(low-rank adaptation) 용량, 가중치(weight) 정밀도 및 희소성(sparsity) 패턴의 6가지 차원에 따라 Whisper 배포를 공동으로 매개변수화하는 압축 프레임워크를 제시합니다. 모든 축은 단어 오류율(WER), 추론 FLOPs, 메모리 점유율이라는 세 가지 배포 목표와 관련하여 NSGA-III를 사용해 결합 최적화(optimization)됩니다. 평가된 1,680개의 후보 구성 중 50개 전반에 걸쳐 각 축의 조건부 효과를 특성화하고 단순한 단일 축 스케일링을 능가하는 압축 조합을 식별하는 한편, 1:4 구조화된 희소성은 테스트된 복구 예산 내에서 허용 가능한 정확도를 복구하지 못함을 발견했습니다. 측정된 WER 및 상주 메모리를 보고하고, 분석적 EffFLOPs를 탐색 시간 계산 대리 지표로 사용하며, 측정된 실시간 계수(RTF)를 사용하여 대표적인 추론 구성을 별도로 검증합니다.

arXiv:2607.09598v2cs.CL

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

arXiv:2607.24030v1cs.CL

MoLGE: 대규모 다국어 음성 인식의 효율적 스케일링을 위한 언어 그룹 전문가 혼합

MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition

수백 개 언어를 포괄하는 대규모 다국어 자동 음성 인식(ASR) 모델은 다양한 언어적·음향적 조건에서 견고한 성능을 유지해야 한다. 그러나 이러한 모델은 종종 다국어성의 저주(curse of multilinguality)에 직면하며, 이는 모델 용량이 여러 언어에 걸쳐 희석되는 현상이다. 이 문제를 해결하기 위해, 우리는 음성 자기지도 학습 모델(S3M)을 기반으로 한 언어 그룹 전문가 혼합(MoLGE)을 제안한다. MoLGE는 유사한 언어들의 클러스터에 전용 전문가 모듈을 할당하여, 기존의 언어별 전문가 혼합(MoE) 방식에 비해 필요한 하위 모듈 수를 줄인다. 또한 S3M 아키텍처의 분리된 음향·언어 구성요소에 계층적 저랭크 적응(LoRA) 전략을 통합하여, 매개변수 효율성을 유지하면서 언어별 특성을 효율적으로 모델링할 수 있게 한다. 또한 언어학적·데이터 기반 기준 모두에 따른 언어 그룹화 전략이 전체 성능에 미치는 영향을 조사하여, 다국어 음성 시스템에서 언어 구조가 확장성(scalability)에 어떻게 영향을 미치는지에 대한 해석 가능한 관점을 제공한다. 실험에서 우리는 495개 언어를 포괄하는 다국어 벤치마크에서 MoLGE를 평가한다. 결과는 MoLGE가 학습 가능한 매개변수의 최소한의 증가만으로 밀집(dense) 다국어 기준선을 지속적으로 능가함을 보여준다. 특히 이러한 언어 그룹화 전략은 ASR 모델링의 음성학적(phonetic) 측면과 정서법적(orthographic) 측면 모두에서 상당한 개선을 가져온다. 우리의 발견은 구조화된 언어 특화(language specialization)가 다국어 ASR의 언어 커버리지를 대규모로 확장하는 효과적인 경로를 제공함을 시사한다.

arXiv:2607.23808v1cs.CL

Indic DiarBench: 인도 언어를 위한 다국어 공동 화자 분리 및 ASR 벤치마크

Indic DiarBench: A Multilingual Joint Diarization and ASR Benchmark for Indian Languages

본 연구에서는 인도의 22개 공식 언어(scheduled languages) 전체를 아우르는 화자 분리(speaker diarization) 및 ASR 벤치마크 데이터셋인 Indic DiarBench를 소개한다. 이 코퍼스는 근거리 회의, 원거리 녹음, 실환경(in-the-wild) 오디오에서 수집한 약 108시간 분량의 자연스러운 다중 화자 오디오로 구성된다. 모든 주석은 시간 정렬된 화자 귀속 전사로 사람이 교정하였다. 이 데이터셋은 영어 코드믹싱(code-mixing), 방언 변이, 빈번한 화자 중첩(speaker overlap) 등 인도어 음성에 흔한 대화적 뉘앙스를 포착한다. 공동 ASR 및 화자 분리 역량에 대한 기준선을 확립하기 위해, 상용 음성 API와 멀티모달 대규모 언어 모델(LLM)을 포함한 선도 시스템들을 평가한다. Indic DiarBench는 인도 언어를 위한 포용적이고 다국어적인 음성 기술 연구를 발전시키기 위해 공개 접근(open-access) 자원으로 공개된다.

arXiv:2607.21540v2cs.CL

DONDO: 아프리카 언어용 공개 w2v-BERT 음성 인식 베이스 모델

DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages

본 논문은 w2v-BERT 2.0 자기지도(self-supervised) 음성 인코더 위에 구축된, 아프리카 언어를 위한 공개·관대한 라이선스의 자동 음성 인식(ASR) 베이스 모델 모음인 DONDO를 제시한다. DONDO는 가나, 시에라리온, 나이지리아, 세네갈, 케냐, 짐바브웨에 걸친 27개 언어 변이를 포괄하는 21개의 단일어 모델과 5개의 다국어 모델로 구성된다. 모델은 주로 종교 텍스트에서 추출한 낭독 음성으로 미세조정되었으며, 이는 전사된 오디오가 부족한 언어에 대해 넓고 라이선스가 명확하며 철자 체계가 일관된 커버리지를 제공한다. 공유 다국어 모델을 먼저 높은 학습률로 적응시킨 다음, 강력한 단일어 기준선을 회복하고 여러 경우에는 이를 능가하도록 학습률을 점진적으로 낮추는 2단계(한 모델군의 경우 3단계) 학습률 어닐링 미세조정 절차를 설명한다. 또한 음향 특징 앞에 one-hot 언어 식별자를 접두 프레임 시퀀스로 주입하는 경량 언어 조건화(language-conditioning) 메커니즘을 설명하며, 이를 통해 단일 다국어 체크포인트를 추론 시 목표 언어로 유도할 수 있다. 5개 다국어 모델군 전반에서 어닐링된 모델은 평균 단어 오류율(WER) 10–13%에 도달하여, 단일 체크포인트로 많은 언어를 포괄하면서 단일어 모델과의 격차 대부분을 줄인다. 모든 모델은 Apache-2.0 라이선스(출처 표시만 필요)로 Hugging Face KhayaAI 조직에 공개되어, 다른 사람들이 상업적 용도를 포함해 자유롭게 미세조정할 수 있다. 다루는 언어들은 보수적으로 추정해도 약 1억 명의 모국어 화자가 사용하며, 제2언어 사용을 포함하면 훨씬 더 많다고 제시한다.

arXiv:2607.22100v1cs.CL

MEUSLI: LLM 기반 ASR 및 그 이상을 위한 다국어 프로젝터

MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond

경량 프로젝터는 사전학습된 음성 인코더와 대규모 언어 모델(LLM)을 연결하는 확립된 방법으로, ASR 및 음성 질의응답과 같은 작업을 위해 음향 특징을 토큰 수준 임베딩으로 매핑한다. 그러나 기존 시스템은 일반적으로 소수의 언어만 지원하며 종종 영어에 한정된다. 우리는 Whisper 인코더와 오픈소스 다국어 LLM을 연결하여 28개 유럽 언어에서 완전한 오픈소스 end-to-end ASR을 가능하게 하는 최초의 오픈 사이언스 다국어 프로젝터 계열인 MEUSLI를 제안한다. MEUSLI는 기존 단일언어 파이프라인을 확장하여, 고자원 및 저자원 언어 모두에서 우수한 결과를 제공한다. 적절한 지속 학습(continual learning) 기법을 사용하면, MEUSLI는 학습에서 보지 못한 다른 언어로도 쉽게 확장할 수 있다. 또한 MEUSLI 프로젝터가 ASR을 넘어 활용될 수 있음을 보였으며, 언어당 단 몇 시간의 과제별 지도 학습만으로 다국어 음성 번역 및 주제 식별을 가능하게 한다. 전반적으로 MEUSLI는 확장 가능하고 포용적인 오픈소스 SpeechLLM을 지원하며, 다국어 음성 이해 작업을 위한 견고한 기반을 제공한다.

arXiv:2603.07025v2cs.CL

ASR 전용 지도 기반 다국어 지시 따르기 음성 LLM을 위한 언어 인식 증류

Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

여러 언어로 지시를 이해하고 따르는 음성 대규모 언어 모델(Speech LLM)은 실제 상호작용에 유용하지만, 지도 미세조정으로 학습하기 어려워 대규모의 과제별 음성 코퍼스가 필요하다. 최근 증류 기반 접근법은 경량 프로젝터만으로 텍스트와 음성을 정렬하여 주석이 달린 ASR 데이터만으로 성능이 좋은 영어 전용 Speech LLM을 학습시키지만, 공유 프로젝터에서의 언어 간섭으로 인해 다국어 설정으로 확장할 때 성능이 저하된다. 이를 해결하기 위해 쿼리 뱅크와 Q-Former 프로젝터를 사용하여 쿼리 토큰을 선택하거나 혼합하는 게이팅 네트워크를 활용한 언어 인식 증류를 제안한다. 우리 접근법은 지시 따르기에서 동등한 다국어 증류 기준선 대비 14%의 향상을 보인다. 또한 MLQA를 기반으로 고품질 TTS 질문으로 구성된 다국어 음성 QA 벤치마크인 Audio-MLQA를 합성한다. 최고 성능 모델은 Audio-MLQA에서 기존 Speech LLM 기준선 대비 32% 향상된다.