OpenPA: 혼합 전사 적응을 활용한 강제 정렬 불필요 다중 단위 발음 평가
OpenPA: Forced-alignment-free Multi-granular Pronunciation Assessment with Mixed-transcript Adaptation
한국어 초록
자동 발음 평가(APA)의 최근 발전은 대본 기반 평가에서 자유 형식 평가로의 전환을 이끌었습니다. 그러나 기존 방식들은 종종 강제 정렬(forced alignment)과 별도의 특징(feature) 추출기를 포함하는 다단계 파이프라인에 의존하여 다양한 응답 환경 전반에서의 실용성이 제한됩니다. 이를 해결하기 위해 본 논문에서는 강제 정렬 없이 단어 및 발화 수준의 발음 점수를 공동으로 예측하고자 Whisper의 크로스 어텐션(cross-attention) 메커니즘을 활용하는 새로운 APA 프레임워크인 OpenPA를 제안합니다. 혼합 전사 적응(mixed-transcript adaptation) 및 적응형 대체 가중치 부여를 통해 OpenPA는 단일 모델 내에서 폐쇄형 및 개방형 응답 환경 전반의 이종 전사 텍스트를 수용합니다. speechocean762 데이터셋으로만 학습(training)되었음에도, OpenPA는 도메인 내 폐쇄형 및 시뮬레이션된 개방형 응답 조건에서 평가 대상 시스템 중 가장 강력한 전반적 성능을 달성하는 동시에 MultiPA에 대한 제로샷(zero-shot) 성능을 유지합니다. 구강암 환자 음성에 대한 추가적인 교차 과제 평가는 비원어민 음성을 넘어선 잠재적 적용 가능성을 시사합니다.
원문 초록
Recent advances in automatic pronunciation assessment (APA) have driven a shift from scripted to free-form assessment. However, existing methods often rely on multi-stage pipelines with forced alignment and separate feature extractors, limiting their practicality across response settings. In light of this, we propose OpenPA, a novel APA framework that leverages Whisper's cross-attention mechanism to jointly predict word- and utterance-level pronunciation scores without forced alignment. Through mixed-transcript adaptation and adaptive substitution weighting, OpenPA accommodates heterogeneous transcripts across closed- and open-response settings within a single model. Trained solely on speechocean762, OpenPA achieves the strongest overall performance among evaluated systems under in-domain closed and simulated open-response conditions, while maintaining its performance zero-shot on MultiPA. An additional cross-task evaluation on oral-cancer speech suggests its potential applicability beyond non-native speech.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Addressing Pitfalls in Auditing Practices of Automatic Speech Recognition Technologies: A Case Study of People with Aphasia
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Towards Temporally Explainable Dysarthric Speech Clarity Assessment
Vedavani: A Benchmark Corpus for ASR on Vedic Sanskrit Poetry
BeaverTalk: Oregon State University's IWSLT 2025 Simultaneous Speech Translation System
Exploring Generative Error Correction for Dysarthric Speech Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
submitted to ICASSP 2027