Towards Automatic Data Augmentation for Disordered Speech Recognition
원문 초록
Automatic recognition of disordered speech remains a highly challenging task to date due to data scarcity. This paper presents a reinforcement learning (RL) based on-the-fly data augmentation approach for training state-of-the-art PyChain TDNN and end-to-end Conformer ASR systems on such data. The handcrafted temporal and spectral mask operations in the standard SpecAugment method that are task and system dependent, together with additionally introduced minimum and maximum cut-offs of these time-frequency masks, are now automatically learned using an RNN-based policy controller and tightly integrated with ASR system training. Experiments on the UASpeech corpus suggest the proposed RL-based data augmentation approach consistently produced performance superior or comparable that obtained using expert or handcrafted SpecAugment policies. Our RL auto-augmented PyChain TDNN system produced an overall WER of 28.79% on the UASpeech test set of 16 dysarthric speakers.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Do You Act Like You Talk? Exploring Pose-based Driver Action Classification with Speech Recognition Networks
Visual Speech Recognition in a Driver Assistance System
VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화
Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR
경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.
어떤 언어가 Warlpiri에 가장 잘 전이되는가? 저자원 ASR을 위한 유사도 기반 연구
Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR
이 논문은 극도로 저자원인 환경에서 자동 음성 인식(ASR)의 교차 언어 전이를 개선하기 위해 언어 유사도를 활용하는 방법을 탐구한다. 호주 원주민 언어인 Warlpiri는 전사된 음성 데이터가 매우 제한적이어서 전이학습이 필수적이다. 본 연구는 사전학습된 음성 모델에서 도출한 음향 유사도와 유형론, 음소 목록, 문법적·통사적 특징에 기반한 언어학적 유사도를 결합하는 프레임워크를 제안하여, 고자원 소스 언어들의 순위를 산정하고 Warlpiri로의 ASR 전이에서 그 효과를 평가한다. Whisper를 이용한 실험에서 음향적·유형론적으로 유사한 언어들이 단일 언어 및 다국어 기준선을 능가하는 것으로 나타났다. 아삼어(Assamese)와 힌디어(Hindi)는 단어 오류율 및 문자 오류율에서 상당한 감소를 달성하였다. 상관관계 분석 결과, 음향 유사도가 미세조정 성능의 가장 강력한 예측 인자임이 확인되었으며, 음소 목록과 유형론적 유사도는 제로샷 전이를 더 잘 설명하는 것으로 나타났다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.