PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09767v2eess.SP

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2606.28857v1cs.SD

wav2VOT: wav2vec2를 이용한 음성 시작 시간, 폐쇄 지속 시간 및 버스트 실현의 자동 추정

wav2VOT: Automatic estimation of voice onset time, closure duration, and burst realisation with wav2vec2

음성 주석을 위한 자동화 도구들이 음성학 연구 파이프라인에서 보편화되었음에도 불구하고, 많은 작업에서 정확한 수행을 위해 상당한 수작업 보정이나 학습 세트를 필요로 한다. 동시에, wav2vec2와 같은 대규모 음성 모델들이 음성 분류 작업에서 우수한 성능을 보임에 따라, 이러한 모델들이 음성학 주석 작업에 어떻게 활용될 수 있는지에 대한 의문이 제기된다. 우리는 wav2vec2를 사용하여 음성 시작 시간(voice onset time), 폐쇄 지속 시간(closure duration), 버스트 실현(burst realisation)을 자동으로 추정하는 도구인 wav2VOT를 소개한다. wav2VOT는 미확인 데이터셋에서 현재 접근법들과 비교 가능한 성능을 보이며, 미세조정을 통해 높은 정확도로 추정할 수 있음을 입증한다. wav2VOT 예측 분석은 파열음 유성성(stop voicing) 및 조음 위치(place of articulation) 전반에 걸쳐 높은 충실도를 보여준다. 이러한 결과는 대규모 음성 모델이 정확한 주석을 생성할 수 있음을 입증하며, 음성학 연구 파이프라인의 도구로서 대규모 음성 모델의 탐험을 더욱 촉진한다.

arXiv:2606.25181v1eess.AS

Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

Early identification of speech sound errors in children is often limited by access to specialists, motivating lightweight screening tools that can operate outside the clinic. We present a screening pipeline for Polish-speaking children focused on sibilant substitutions, coupling a wav2vec2-based CTC token recognizer with alignment-based error typing and a template-grounded caregiver assistant for screening, not diagnosis. On a held-out test set of 10 unseen children comprising 559 utterances, the recognizer achieves 88.7 percent exact sequence match. As a conservative screening proxy, we flag a mismatch when the system emits substitution-evidence bracketed tokens at the target segment, yielding 72.9 percent precision, 61.4 percent recall, F1 = 0.67, and a 2.7 percent false-alarm rate on target-correct items. We describe the assistant's safety boundaries and outline a clinician-in-the-loop validation plan for future deployment.

arXiv:2606.23948v1cs.CL

Layer-wise Probing of wav2vec 2.0 and Whisper for Consonant Cluster Reduction in African American English

AAE(아프리카계 미국인 영어)의 자음군 축약(consonant cluster reduction)이 wav2vec 2.0과 Whisper-small 내부 표상에 어떻게 담기는지, 화자 독립적 층별 프로빙(probing)으로 축약 탐지와 원형 클러스터 복원 과제를 통해 분석했다. 두 모델 모두 축약형과 정형을 높은 정확도로 구분했고, 축약 구간에도 원래 폐쇄음 단서가 남아 CCR이 단순 삭제가 아니라 구조화된 음운 변이로 인코딩됨을 보였다.

arXiv:2606.19797v1eess.AS

인도메인 데이터 증강을 통한 구음 장애 음성의 엔드투엔드 음성 인식 개선

Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation

구음 장애 음성 인식은 구음 장애를 가진 개인 간의 효과적인 의사소통을 촉진하는 데 중요합니다. 그러나 구음 장애 음성을 정확하게 인식하는 것은 다양한 심각도 수준과 제한된 데이터 가용성으로 인해 상당한 어려움을 겪습니다. 본 논문에서는 심각도 수준에 특히 초점을 맞추어, 엔드투엔드 사전 학습된 Wav2Vec2 모델을 미세조정함으로써 구음 장애 자동 음성 인식(ASR) 시스템을 위한 데이터 증강 기법을 탐구합니다. 구음 장애 음성용 사전 학습된 ASR 시스템을 미세조정할 때 데이터 부족 문제와 광범위한 데이터의 필요성을 해결하기 위해, 우리는 구음 장애의 다양한 측면에 맞춰진 4가지 주요 데이터 증강 방법인 Speaking-Rate Modification (SRM), Pitch Modification (PM), Formant Modification (FM), 및 vocal tract Length Perturbation (VTLP)을 조사합니다. 이 연구는 각 심각도 클래스에 대해 개별적으로 미세조정된 Wav2Vec2 모델을 기준선 시스템으로 사용합니다. 또한, 증강된 데이터를 사용하여 ASR 모델의 심각도별 미세조정을 수행했습니다. 결과는 심각도 수준에 따라 각 증강 기법이 뚜렷한 효능 패턴을 보여줍니다. 최상의 WER은 \textit{low} (9.02\%) 및 \textit{medium} (38.11\%) 심각도에서 SRM ($s$=0.8)으로, \textit{high} 심각도(55.15\%)에서 PM ($τ$=0.8)으로 달성되었으며, 이는 각각 30.02\%, 16.64\%, 15.47\%의 상대적 개선을 반영합니다. 이러한 결과는 구음 장애 ASR 성능을 향상시키는 데 있어 증강 방법들의 효과를 확인시켜 줍니다.

arXiv:2606.19747v1cs.AI

꾸란 ASR을 위한 사전 학습된 트랜스포머 모델의 비교 연구: 음성 표현, 라벨 형식 및 데이터셋 구성

A Comparative Study of Pretrained Transformer Models for Quranic ASR: Speech Representations, Label Formats, and Dataset Composition

꾸란 자동 음성 인식(ASR)은 꾸란 낭송을 텍스트로 변환하는 것을 목표로 하며, 암기 보조 도구 및 꾸란 검색 엔진과 같은 응용 프로그램을 가능하게 합니다. 그러나 기존 ASR 모델은 사용자가 낭송한 구절에서 높은 단어 오류율(WER)을 보이는 경우가 많으며, 꾸란 말뭉치 전체를 완전히 포괄하지 못합니다. 본 논문은 고급 음성 특징 추출 방법인 Wav2Vec2.0, HuBERT 및 XLS-R을 사용하여 꾸란 ASR을 위한 사전 학습된 트랜스포머 기반 모델의 도메인 특화 미세조정에 대한 체계적인 실증 연구를 제시합니다. 이러한 모델들은 입력 오디오의 일부를 마스킹(masking)하고 트랜스포머 아키텍처를 사용하여 문맥 인식 음성 특징을 학습함으로써 자기 지도 학습을 적용합니다. 사전 학습된 모델은 전문가 및 사용자 낭송 870시간 이상을 포함하는 필터링된 꾸란 데이터셋에서 미세조정됩니다. 특징 추출기, 출력 라벨 형식, 학습 전략 및 클립 길이에 걸친 포괄적인 소거 연구(ablation study)를 통해, 이 도메인에서 전사 정확도에 영향을 미치는 핵심 요인을 식별합니다. 최상의 성능을 보인 구성은 EveryAyah 하위 데이터셋에서 0.08의 WER을 달성했고, 결합된 EveryAyah+Tarteel 설정에서는 0.11을 달성했으며, 이는 결합 모델 학습 시간을 140시간에서 40시간으로 단축하면서 Citrinet 기준선(WER = 0.163) 대비 약 5% 포인트의 향상을 나타냅니다. 모음 기호(diacritics)가 없는 아랍어 텍스트가 가장 좋은 미세조정 결과를 산출하며, Wav2Vec2-XLSR-53이 가장 강력한 전반적인 표현을 제공합니다. 향후 작업으로는 데이터셋 품질 개선과 타지드(Tajweed) 민감 응용 프로그램을 위해 더 깊은 음성 특징 표현을 추출하는 음소 인식 모델 개발이 포함됩니다.