PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21540v2cs.CL

DONDO: 아프리카 언어용 공개 w2v-BERT 음성 인식 베이스 모델

DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages

본 논문은 w2v-BERT 2.0 자기지도(self-supervised) 음성 인코더 위에 구축된, 아프리카 언어를 위한 공개·관대한 라이선스의 자동 음성 인식(ASR) 베이스 모델 모음인 DONDO를 제시한다. DONDO는 가나, 시에라리온, 나이지리아, 세네갈, 케냐, 짐바브웨에 걸친 27개 언어 변이를 포괄하는 21개의 단일어 모델과 5개의 다국어 모델로 구성된다. 모델은 주로 종교 텍스트에서 추출한 낭독 음성으로 미세조정되었으며, 이는 전사된 오디오가 부족한 언어에 대해 넓고 라이선스가 명확하며 철자 체계가 일관된 커버리지를 제공한다. 공유 다국어 모델을 먼저 높은 학습률로 적응시킨 다음, 강력한 단일어 기준선을 회복하고 여러 경우에는 이를 능가하도록 학습률을 점진적으로 낮추는 2단계(한 모델군의 경우 3단계) 학습률 어닐링 미세조정 절차를 설명한다. 또한 음향 특징 앞에 one-hot 언어 식별자를 접두 프레임 시퀀스로 주입하는 경량 언어 조건화(language-conditioning) 메커니즘을 설명하며, 이를 통해 단일 다국어 체크포인트를 추론 시 목표 언어로 유도할 수 있다. 5개 다국어 모델군 전반에서 어닐링된 모델은 평균 단어 오류율(WER) 10–13%에 도달하여, 단일 체크포인트로 많은 언어를 포괄하면서 단일어 모델과의 격차 대부분을 줄인다. 모든 모델은 Apache-2.0 라이선스(출처 표시만 필요)로 Hugging Face KhayaAI 조직에 공개되어, 다른 사람들이 상업적 용도를 포함해 자유롭게 미세조정할 수 있다. 다루는 언어들은 보수적으로 추정해도 약 1억 명의 모국어 화자가 사용하며, 제2언어 사용을 포함하면 훨씬 더 많다고 제시한다.

arXiv:2607.12468v1cs.SD

제2회 MLC-SLM 챌린지를 위한 Omnilingual-ASR 기반 Speech-LLM 시스템

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

제2회 MLCSLM 챌린지 Task 1에 대한 우리의 제출을 설명한다. DiariZen-Large-s80(WavLM-Large) 분할(segmentation), CAM++ 임베딩 기반 2화자 클러스터링, LoRA 적응 omniASR LLM 7B v2 인식기를 결합한 계단식 화자 분리(diarization)-후-인식 시스템이며, 테스트 시점에는 oracle 분할이나 화자 레이블을 사용하지 않는다. 공식 Development set(150개 대화, 21개 언어/억양 카테고리)에서 이 시스템은 macro tcpMER 29.27%를 달성했으며, 공식 기준선의 79.15%에 비해 낮다. Evaluation set에서는 50.23%를 기록했다. 또한 tcpMER에 실질적으로 영향을 미치는 두 가지 엔지니어링 선택을 분석한다. 첫째, 임베딩 기반 화자 클러스터링은 ASR <sc> 턴 마커만으로 화자를 할당하는 end-to-end 스타일 대안보다 우수하다. 둘째, 화자 분리 재현율을 높이려는 의도로 도입된 overlap-aware 분할은 겹치는 발화가 두 번 전사되기 때문에 tcpMER를 증가시킨다.

arXiv:2607.11163v1cs.CL

통합 그래디언트 투영: 다국어 저자원 ASR을 위한 언어 균형 지속 학습

Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR

Whisper와 같은 대규모 사전학습 자동 음성 인식(ASR) 모델은 강력한 다국어 능력을 보인다. 그러나 저자원 언어에 대한 미세조정은 파국적 망각을 유발하는 경우가 많다. 지속 학습이 이 문제를 완화하지만, 기존 방법들은 지배적 언어가 최적화에 바이어스를 주는 다국어 환경에서 태스크 간 간섭을 조절하는 데 어려움을 겪는다. 우리는 통합 투영 공간에서 언어 균형 리플레이로부터의 참조 그래디언트를 사용하여 매개변수 업데이트를 제약하는 통합 그래디언트 투영(UGP)을 제안한다. 투영에서 언어별 기여를 균등화함으로써 UGP는 지배적 언어 바이어스를 줄이고 교차 언어 안정성을 향상시킨다. 나아가 그래디언트 수준의 투영과 데이터 수준의 리플레이를 결합하면 안정성과 가소성 측면에서 상호 보완적인 이점을 얻을 수 있음을 보인다. 다양한 저자원 언어 그룹과 모델 규모에 걸쳐 UGP는 효과적인 적응을 가능하게 하면서 망각을 크게 완화한다. Whisper-large-v3에서는 평균 망각이 거의 0에 가까운 수준을 달성한다.

arXiv:2607.10371v1eess.AS

GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델

GigaAM Multilingual: Foundation Model for Underrepresented Languages

최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.

arXiv:2606.11639v1cs.CL

음소 기반 자동 음성 인식 시스템의 바이어스 평가: IPA 전사 모델 분석

Evaluating Bias in Phoneme-Based Automatic Speech Recognition Systems: An Analysis of IPA Transcription Models

자동 음성 인식(ASR) 시스템의 대중화로 인해 불균형한 학습 데이터에서 비롯되는 인종, 연령, 성별, 악센트와 관련된 인구통계학적 바이어스에 대한 탐색이 증가했습니다. 대부분의 연구는 표준 그래펨 기반 ASR 시스템에 초점을 맞추었으며, 국제 음성 기호(IPA) 표현을 생성하는 모델과 같은 음소 기반 시스템에는 상대적으로 덜 중점을 두었습니다. ASR 시스템이 다국어 지원 및 저자원 언어 모델링으로 전환됨에 따라, IPA 기반 레이어는 중요한 언어 독립적 기반으로 작용합니다. 본 연구에서는 다양한 악센트와 언어 소스에 걸쳐 IPA 전사를 생성하는 두 가지 최신 오픈 소스 ASR 시스템인 WhisperIPA와 ZIPA의 성능을 평가합니다. 평가에는 기존의 다국어 음성 말뭉치와 인구통계학적으로 주석이 달린 영어 말뭉치가 포함됩니다. 우리는 표준 음소 오류율(PER)과 언어학적으로 유사한 음소 치환을 허용하는 제안된 Soft PER 지표를 모두 사용하여, 모델이 생성한 IPA 전사를 그래펨-투-포넘(G2P) 시스템과 비교하여 모델 성능을 측정합니다. 우리의 분석은 성별, 악센트, 민족, 연령과 같은 인구통계학적 그룹과 언어 전반에 걸쳐 성능이 어떻게 달라지는지 조사하며, 허용 가능한 음소 변이를 고려하더라도 지속적인 격차가 존재함을 밝혀냈습니다. 이러한 발견은 잠재적인 바이어스의 원인에 대한 통찰을 제공하고, 더 포용적이며 언어적으로 견고한 음소 기반 ASR 시스템 개발에 정보를 제공합니다. 우리의 코드와 데이터는 커뮤니티에 공개될 예정입니다.