arXiv:2606.21990v1 cs.CL

고성능 다국어 ASR에 견고한 코드 전환 기능 추가

Adding Robust Code-Switching Capabilities to High Performance Multilingual ASR

Enes Yavuz Ugan, Alexander Waibel

제출 2026-06-20

한국어 초록

코드 전환(CSW)은 실제 배포 환경에서 대규모 다국어 ASR 시스템에 여전히 어려운 과제로 남아 있다. 합성 CSW 데이터에 대한 미세조정은 가능하지만, 일반적으로 강력한 단일언어 baseline 성능을 저하시킨다. 우리의 목표는 이러한 능력을 유지하면서 언어 간 형태론적 변이를 포함한 복잡한 코드 전환을 처리하도록 모델을 확장하는 것이다. 우리는 베이지안 분해 적응(Bayesian factorized adaptation)을 제안하는데, 이는 기존 능력을 덮어쓰지 않고 강력한 사전학습 모델에 전환 관련 지식을 효율적으로 통합하는 방법을 학습한다. 소량의 합성 데이터만 필요로 하는 우리의 접근법은 코드 전환 단어에서 전사 오류를 32.87% 감소시키면서 전체 WER을 5.31% 개선하고, 단일언어 성능을 유지한다. 우리의 결과는 효과적인 CSW 적응이 데이터 복잡성보다 지식 통합에 더 의존함을 보여준다.

원문 초록

Code-switching (CSW) remains challenging for large multi-lingual ASR systems in real-world deployment. While fine-tuning on synthetic CSW data is possible, it generally degrades strong monolingual baselines. Our goal is to preserve these capabilities while extending models to handle complex code-switching, including morphological variations across languages. We propose Bayesian factorized adaptation, which learns to efficiently integrate switching-relevant knowledge into strong pretrained models without overwriting existing capabilities. Requiring only a small amount of synthetic data, our approach reduces transcription errors by 32.87% on code-switched words while improving overall WER by 5.31%, all while maintaining mono-lingual performance. Our results demonstrate that effective CSW adaptation depends more on knowledge integration than data complexity.

요약

강력한 다국어 ASR baseline에서 합성 코드 전환(CSW) 데이터 미세조정이 단일언어 성능을 흔히 저하시키는 문제를, 베이지안 분해 적응(BLoRA)으로 기존 능력을 유지한 채 전환 관련 지식을 선택적으로 통합하는 방식으로 해결한다. 소량의 LLM·TTS 합성 데이터만으로 코드 전환 단어 전사 오류를 32.87% 줄이고 전체 WER을 5.31% 개선했으며, 효과적인 CSW 적응은 데이터 복잡성보다 지식 통합 방식에 더 의존함을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.21990v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22397v1cs.HC공통 태그 Bayesian Inference, Domain Adaptation

범용 BCI 개인화: 동결 EEG 트렁크와 파운데이션 모델을 위한 단일 API

Universal BCI Personalization: One API for Frozen EEG Trunks and Foundation Models

동결 EEG 인코더가 확산하고 있으나, 모델별 파인튜닝 기본 설정은 확장되지 않는다. 우리는 Nimbus Personalizer를 제안한다. 이는 아키텍처마다 새로운 개인화 스택 없이 이종 동결 트렁크 위에 올라가는 encode → Bayesian head → BrainState(선택적 affine mid-tier)의 단일 계약(contract)이다. 논제(시스템): 기여는 임베딩 위 LDA를 ML 신규성으로 내세우는 것이 아니라 트렁크에 무관한(trunk-agnostic) API이며, OEM이 한 번 통합하고 트렁크를 교체할 수 있다는 점이다. 근거: 동일한 인터페이스가 다섯 가지 고전 트렁크 EEGNet, Shallow, Deep, Conformer, ATCNet × 네 개의 MI 데이터셋(18 cells)과, 동일한 Personalizer 하에서 파운데이션 인코더(REVE) 위에서도 동작한다. 임베딩 용량이 존재하는 경우, 헤드는 warm-start 파인튜닝 또는 PEFT 대비 저렴한 기본 중간 지점으로, 적응 wall time을 수 orders of magnitude 적게 소비하면서 파인튜닝 정확도 향상의 상당 부분을 회복한다. calibration-only-when-clean은 18 cells 중 12개에서 성립한다. 헤드 성능 향상은 용량이 존재하는 곳에서 API가 유 useful하다는 뒷받침 근거다. 피험자 수준 신뢰구간은 가장 명확한 데이터셋을 식별하고, 다른 곳에서는 0을 포함한다. 모든 결과는 탐색적(subject-level bootstrap, 확인적 검정 없음)이며, 적응을 언제 확대할지에 대한 의사결정 로직은 제어 층(control layer)에 관한 동반 연구에서 다룬다.

arXiv:2607.11958v1cs.LG공통 태그 Bayesian Inference, Domain Adaptation

구축된 현실, 경합적 사전분포: 자유 에너지 원리 하에서의 분리와 인지 재발의 구조

Constructed Reality, Contested Priors: Decoupling and the Architecture of Cognitive Relapse Under the Free Energy Principle

자유 에너지 원리(FEP) 하에서 예측 시스템은 현실을 직접 관측하지 않으며, 세계에 대한 생성 모델을 유지하고 그 모델의 현재 최선 가설을 경험한다. 합성 환경을 충분히 일관되게 만들 수 있어 예측 시스템의 추론 기작이 이를 기본 가설로 채택하고, 처음 형성시킨 환경을 영구적으로 대체하게 할 수 있을까? 우리는 이 상태를 존재론적 전도(ontological inversion)라고 부른다. 신경계에서 그러한 전이를 유도하고 모니터링하는 것은 윤리적으로도 기술적으로도 불가능하므로, 우리는 통제된 대리(proxy)를 통해 근본적인 계산 문제를 연구한다: 순환 잠재 예측기와 결합된 합성곱 변분 오토인코더(convolutional VAE)로, 증거 하한(ELBO) 목적함수가 부호에 한해 변분 자유 에너지(variational free energy) 자체와 수학적으로 동일하다. 네트워크는 먼저 기준선 시각 도메인에서 학습한 뒤, 기준선 콘텐츠가 목표 도메인으로의 전환 동안 얼마나 지속되는지를 스위프된 리허설 비율 r이 제어하는 혼합 스트림에서 학습된다. 표상 용량, 즉 잠재 공간이 구별할 수 있는 것은, 제약 없이 두었을 때 시스템이 생성하는 기본 행동(default behavior)과 별도로 추적된다. 90회 실행에 걸친 전체 스위프에서 두 지표는 급격히 갈라진다: 표상 정확도는 r와 관계없이 0.97에서 0.998의 천장 근처를 유지하는 반면, 기본 행동은 r만에 따라 시스템 전체 범위에 걸쳐 변하며, 이는 학습과 수용(acceptance)의 분리(decoupling)이다. 더 두드러진 것은, 중간 r에서 시스템의 기본 출력이 목표 도메인 쪽으로 상승했다가 학습이 변하지 않은 채로 기준선 쪽으로 부분적으로 되돌아가는 현상으로, 우리는 이 구조적 실패를 인지 재발(cognitive relapse)이라 부른다. 현실 채택에 대한 저항은 학습 속도로 환원될 수 없으며, 고유한 실패 양식을 가진 구조적 속성이다. 여기서는 이를 계산적 존재 증명으로만 확립하고 그 이상은 다루지 않는다.

arXiv:2607.10092v1cs.CL공통 태그 Automatic Speech Recognition, Domain Adaptation

싱가포르 맥락을 위한 음성 언어 모델의 효율적 적응

Efficiently Adapting Spoken Language Models for the Singaporean Context

음성 언어 모델(SLM)은 음성 인식과 추론을 통합하지만, 민감한 도메인에 대한 적응은 아직 충분히 연구되지 않았다. 특히 원본 학습 데이터에 접근할 수 없고 다국어 음성 질의 상호작용이 요구되는 경우에는 더욱 그러하다. 우리는 싱가포르의 4개 공식 언어에 걸친 5가지 음성 태스크에서 오픈소스 SLM을 싱가포르 Home Team 맥락에 적응시켰으며, LoRA 미세조정, 파국적 망각을 방지하는 대리 텍스트-QA 데이터셋, 그리고 CoBa 재가중치 방식을 음성에 적용한 멀티태스크 목적함수를 결합하였다. 또한 텍스트 및 음성 형태의 504,853개 샘플로 구성된 다국어 QA 데이터셋 HTD-multilingual-QA를 구축하였다. 그 결과물인 HT-Moonstone (5B)은 대부분의 태스크에서 자신보다 최대 7배 큰 SLM과 동등하거나 이를 능가하며, 평가된 모든 모델 중 최고의 억양 및 성별 인식 성능을 달성하고, 원본 음성 QA 능력의 2% 미만만을 손실한다.

arXiv:2607.10256v1cs.CL공통 태그 Automatic Speech Recognition, Domain Adaptation

어떤 언어가 Warlpiri에 가장 잘 전이되는가? 저자원 ASR을 위한 유사도 기반 연구

Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR

이 논문은 극도로 저자원인 환경에서 자동 음성 인식(ASR)의 교차 언어 전이를 개선하기 위해 언어 유사도를 활용하는 방법을 탐구한다. 호주 원주민 언어인 Warlpiri는 전사된 음성 데이터가 매우 제한적이어서 전이학습이 필수적이다. 본 연구는 사전학습된 음성 모델에서 도출한 음향 유사도와 유형론, 음소 목록, 문법적·통사적 특징에 기반한 언어학적 유사도를 결합하는 프레임워크를 제안하여, 고자원 소스 언어들의 순위를 산정하고 Warlpiri로의 ASR 전이에서 그 효과를 평가한다. Whisper를 이용한 실험에서 음향적·유형론적으로 유사한 언어들이 단일 언어 및 다국어 기준선을 능가하는 것으로 나타났다. 아삼어(Assamese)와 힌디어(Hindi)는 단어 오류율 및 문자 오류율에서 상당한 감소를 달성하였다. 상관관계 분석 결과, 음향 유사도가 미세조정 성능의 가장 강력한 예측 인자임이 확인되었으며, 음소 목록과 유형론적 유사도는 제로샷 전이를 더 잘 설명하는 것으로 나타났다.

arXiv:2607.10371v1eess.AS공통 태그 Automatic Speech Recognition, Domain Adaptation

GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델

GigaAM Multilingual: Foundation Model for Underrepresented Languages

최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.