Self-supervised Learning with Speech Modulation Dropout
원문 초록
We show that training a multi-headed self-attention-based deep network to predict deleted, information-dense 2-8 Hz speech modulations over a 1.5-second section of a speech utterance is an effective way to make machines learn to extract speech modulations using time-domain contextual information. Our work exhibits that, once trained on large volumes of unlabelled data, the outputs of the self-attention layers vary in time with a modulation peak at 4 Hz. These pre-trained layers can be used to initialize parts of an Automatic Speech Recognition system to reduce its reliance on labeled speech data greatly.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델
GigaAM Multilingual: Foundation Model for Underrepresented Languages
최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.
Evaluating Variants of wav2vec 2.0 on Affective Vocal Burst Tasks
토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화
Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR
경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.
어떤 언어가 Warlpiri에 가장 잘 전이되는가? 저자원 ASR을 위한 유사도 기반 연구
Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR
이 논문은 극도로 저자원인 환경에서 자동 음성 인식(ASR)의 교차 언어 전이를 개선하기 위해 언어 유사도를 활용하는 방법을 탐구한다. 호주 원주민 언어인 Warlpiri는 전사된 음성 데이터가 매우 제한적이어서 전이학습이 필수적이다. 본 연구는 사전학습된 음성 모델에서 도출한 음향 유사도와 유형론, 음소 목록, 문법적·통사적 특징에 기반한 언어학적 유사도를 결합하는 프레임워크를 제안하여, 고자원 소스 언어들의 순위를 산정하고 Warlpiri로의 ASR 전이에서 그 효과를 평가한다. Whisper를 이용한 실험에서 음향적·유형론적으로 유사한 언어들이 단일 언어 및 다국어 기준선을 능가하는 것으로 나타났다. 아삼어(Assamese)와 힌디어(Hindi)는 단어 오류율 및 문자 오류율에서 상당한 감소를 달성하였다. 상관관계 분석 결과, 음향 유사도가 미세조정 성능의 가장 강력한 예측 인자임이 확인되었으며, 음소 목록과 유형론적 유사도는 제로샷 전이를 더 잘 설명하는 것으로 나타났다.
자동 음성 인식 시스템의 생성적 테스팅
Generative Testing of Automated Speech Recognition Systems
자동 음성 인식(ASR) 시스템은 트랜스포머 기반 모델로 높은 정확도를 달성하여 중요한 응용 분야에 배포되고 있다. 그러나 이러한 시스템은 적대적 조작에 여전히 취약하며, 특히 공격이 지각적 자연스러움을 보존해야 하는 블랙박스 환경에서 더욱 그러하다. 본 연구는 텍스트-투-스피치 모델의 음소 수준 잠재 공간에서 동작하여 실패를 유발하는 입력을 생성하는 블랙박스 테스팅 접근법인 GATAS를 제안한다. 파형을 직접 교란하는 대신, 자연 음성의 매니폴드 내에 머무르면서 잠재 표현을 보간하여 전사 오류를 유발한다. 이 공격은 의미적 발산과 지각적 품질의 균형을 맞추는 다목적 최적화 문제로 정식화된다. 화이트박스 및 블랙박스 기준선에 대한 실험적 평가 결과, GATAS는 98%의 성공률을 달성하면서 낮은 왜곡과 높은 지각적 품질을 제공함을 인간 연구를 통해 확인하였다. 그래디언트 접근 없이 동작함에도 불구하고, GATAS는 화이트박스 방법에 필적하는 성능을 보이며, 표현 및 지각적 정렬이 모델 내부에 대한 접근보다 더 중요함을 강조한다. 전반적으로, 본 연구의 결과는 비표적 잠재 공간 최적화가 ASR 시스템에 대한 현실적이고 효과적인 테스트 케이스의 효율적 생성을 가능하게 함을 보여준다.
Fine-Tuning Self-Supervised Learning Models for End-to-End Pronunciation Scoring
토론
이 논문과 연결된 포럼 글이 아직 없습니다.