PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30237v2cs.CL

네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구

Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study

개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.

arXiv:2610.03017v1cs.AI

인공 대화를 활용한 구음장애 및 기관절개술 환자를 위한 개인 맞춤형 자동 음성 인식

Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations

본 연구에서는 영구적인 기관루(tracheal stoma)를 가지고 있으며 훈련되지 않은 청자가 알아듣기 힘든 중증 구음장애(dysarthria)를 겪는 체코어 화자를 위해 개인 맞춤화된 자동 음성 인식(ASR) 시스템을 제시합니다. 연구진은 높은 몰입도와 대화의 사실성을 위해 고안된 새로운 "인공 대화(artificial conversation)" 프로토콜을 사용하여 수집한, 해당 화자의 주석이 달린 33시간 분량의 음성을 포함하는 공개 데이터셋을 발표합니다. 또한 Whisper Base를 기반으로 한 다단계 학습(training) 파이프라인을 제안하며, 이는 표준 체코어 음성, 음향적으로 시뮬레이션된 기관절개술 환자 음성, 그리고 해당 화자의 데이터에 대한 미세조정(fine-tuning)으로 구성됩니다. 대본 기반 대화, 질의응답, 자발적 대화라는 세 가지 준실시간(near real-time) 시나리오에 걸쳐 시스템을 평가한 결과, Whisper Base 기준선(baseline) 대비 문자 오류율(Character Error Rate)을 상대적으로 50% 줄였으며, 고립된 발화의 음향 인식에서 화자 보조인들의 평균 인식 정확도를 능가했습니다. 정량적 결과와 화자의 피드백을 통해 입증된 바와 같이, 심각한 장애가 있는 음성에 대해서도 실질적인 도움이 되는 ASR 구현이 가능함을 보여줍니다.

arXiv:2607.03207v1cs.CL

S-DiverSe: 스페인어 다양한 음성 데이터셋

S-DiverSe: Spanish Diverse Speech

자동 음성 인식(ASR)은 표준 음성에 대해 눈에 띄게 발전했지만, 신경학적 질환의 영향을 받은 음성은 여전히 도전 과제로 남아 있다. 본 논문에서는 근위축성 측삭 경화증(ALS), 파킨슨병, 뇌졸중을 가진 22명의 화자로부터 수집된 3.2시간 분량의 실환경 스페인어 음성 코퍼스인 S-DiverSe(Spanish Diverse Speech)를 소개한다. 이 데이터셋은 화자 성별, 질환 유형, 명료도에 대한 메타데이터와 함께 수동으로 전사된 444개의 오디오 세그먼트를 포함한다. S-DiverSe는 신경학적 영향을 받은 스페인어 음성에 대한 ASR 평가 및 개발을 지원하도록 설계되었다. 본 논문에서는 데이터셋을 기술하고, 그 구성을 분석하며, 초기 적응 실험과 함께 기준선 ASR 결과를 보고한다. 실험 결과, 도메인 외 신경학적 스페인어 음성에 대해 휴리스틱 텍스트 후처리가 미세조정보다 더 강건한 것으로 나타났다. 이는 실환경 전용 스페인어 벤치마크의 필요성을 강조한다.

arXiv:2606.31722v1cs.CL

기초 ASR 모델의 마비말장애 음성 적응: 사례 연구

Adapting Foundation ASR Models to Dysarthric Speech: A Case Study

Whisper 기반 파운데이션 ASR 모델을 마비말장애(dysarthric) 화자의 음성 데이터로 개인화 파인튜닝하여, 기준 모델의 128.4% WER을 최소 1.4시간의 적응 데이터만으로 15.8%까지, 전체 데이터(교정 포함) 활용 시 9.7%까지 낮추는 데 성공했다. LoRA 적응이나 Qwen3-ASR보다 Whisper 전체 파인튜닝이 우수했으며, 실제 모바일 앱으로 배포해 사용자 교정 데이터를 지속 수집하는 실용적 파이프라인도 구축했다.

arXiv:2606.19823v1eess.AS

제로샷 보이스 클로닝을 통한 구음 장애 자동 음성 인식(ASR)을 위한 저부담 데이터 증강

Low-Burden Data Augmentation for Dysarthric ASR via Zero-Shot Voice Cloning

자동 음성 인식(ASR)은 데이터 부족과 높은 화자 간 변동성으로 인해 구음 장애 음성에 대해 여전히 신뢰할 수 없는 수준입니다. 합성 데이터가 이러한 격차를 해결할 수 있지만, 기존 방법은 종종 방대한 화자 특정 데이터를 요구하여 데이터 수집 병목 현상을 다시 야기합니다. 본 연구에서는 저부담 증강 전략으로서 제로샷 보이스 클로닝을 조사하며, TORGO 데이터셋의 화자를 복제하기 위해 Higgs Audio V2를 사용합니다. 복제된, 실제, 그리고 하이브리드 데이터에 대해 Whisper-medium을 파인튜닝(FT)하고, 홀드아웃 실제 음성에 대해 평가를 수행합니다. 제로샷(31.62%)과 비교했을 때, Clone FT는 경쟁력 있는 26.00% WER(단어 오류율)을 달성했으며, 각각 Real FT와 Hybrid FT에서 관찰된 24.44% 및 25.12%와 거의 유사한 수준입니다. 특히 중등도-중증 화자의 경우 Clone FT와 Hybrid FT가 Real FT보다 우수한 성능을 보였습니다. SAP-1102에 대한 교차 말뭉치 평가(cross-corpus evaluation)에서 Clone FT는 최상의 결과(상대적 11.45%)를 달성했습니다. 이러한 결과는 제로샷 복제가 비용이 많이 드는 데이터 수집 병목 현상을 우회하는 확장 가능한 학습 데이터를 제공함을 시사합니다.

arXiv:2606.19793v1eess.AS

이음증(dysarthric) 음성 인식에 대한 체계적 연구: 스펙트럼 특징 및 음향 모델

Systematic Study of Dysarthric Speech Recognition: Spectral Features and Acoustic Models

이음증(dysarthric) 음성 인식의 어려움은 주로 조음 정밀도 저하로 인한 두드러진 음향 변동성에서 비롯됩니다. 기존 연구에서는 하이브리드 DNN/HMM 시퀀스 판별 학습(sequence discriminative training)을 사용하여 인식 성능이 향상됨을 입증했습니다. 본 논문은 서로 다른 음향 모델에 맞춰진 다양한 음향 특징 조합에 대한 포괄적인 조사를 제시하며, 각 모델에 적합한 특징 선택을 제안합니다. 피치(Pitch) 특징을 통합하면 인식 성능이 크게 향상되었으며, 특히 이음증 음성이 포함된 문장 인식 작업에서 그 효과가 두드러졌습니다. TORGO 데이터베이스에 대한 체계적인 검토를 통해, 이음증 음성 인식을 위한 최첨단 인자화 시간 지연 신경망(F-TDNN) 모델의 성능을 향상시킬 잠재력을 입증했습니다. F-TDNN 모델을 통해 구현된 우리의 방법은 기존 연구 대비 이음증 음성의 고립 단어 인식에서 4.65%, 문장 인식에서 4.63%의 상대적 성능 향상을 이끌어냈습니다. 이러한 성능 향상은 연속적인 학습 예제 청크 간의 중첩 프레임 수를 의도적으로 선택함으로써 음성 변동성을 효과적으로 보상한 결과입니다.

arXiv:2606.19797v1eess.AS

인도메인 데이터 증강을 통한 구음 장애 음성의 엔드투엔드 음성 인식 개선

Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation

구음 장애 음성 인식은 구음 장애를 가진 개인 간의 효과적인 의사소통을 촉진하는 데 중요합니다. 그러나 구음 장애 음성을 정확하게 인식하는 것은 다양한 심각도 수준과 제한된 데이터 가용성으로 인해 상당한 어려움을 겪습니다. 본 논문에서는 심각도 수준에 특히 초점을 맞추어, 엔드투엔드 사전 학습된 Wav2Vec2 모델을 미세조정함으로써 구음 장애 자동 음성 인식(ASR) 시스템을 위한 데이터 증강 기법을 탐구합니다. 구음 장애 음성용 사전 학습된 ASR 시스템을 미세조정할 때 데이터 부족 문제와 광범위한 데이터의 필요성을 해결하기 위해, 우리는 구음 장애의 다양한 측면에 맞춰진 4가지 주요 데이터 증강 방법인 Speaking-Rate Modification (SRM), Pitch Modification (PM), Formant Modification (FM), 및 vocal tract Length Perturbation (VTLP)을 조사합니다. 이 연구는 각 심각도 클래스에 대해 개별적으로 미세조정된 Wav2Vec2 모델을 기준선 시스템으로 사용합니다. 또한, 증강된 데이터를 사용하여 ASR 모델의 심각도별 미세조정을 수행했습니다. 결과는 심각도 수준에 따라 각 증강 기법이 뚜렷한 효능 패턴을 보여줍니다. 최상의 WER은 \textit{low} (9.02\%) 및 \textit{medium} (38.11\%) 심각도에서 SRM ($s$=0.8)으로, \textit{high} 심각도(55.15\%)에서 PM ($τ$=0.8)으로 달성되었으며, 이는 각각 30.02\%, 16.64\%, 15.47\%의 상대적 개선을 반영합니다. 이러한 결과는 구음 장애 ASR 성능을 향상시키는 데 있어 증강 방법들의 효과를 확인시켜 줍니다.