강제 정렬(forced alignment)은 음성과 해당 전사본이 주어졌을 때 각 단어, 음소(phone) 또는 문자의 타임스탬프를 추정합니다. 기존 연구들의 비교 방식은 전사본 정규화, 데이터 분할, 경계 매칭 방식이 제각각이어서 그 수치들을 직접 비교할 수 없습니다. 본 논문에서는 이러한 선택 사항들을 통일하고 코드, 분할 데이터, 음소 매핑, 텍스트 정규화, 채점 스크립트를 공개하며 정기적으로 결과를 게시하는 공개 프레임워크인 FA-Bench를 제시합니다. 통합 프로토콜 하에 동일한 오디오(깨끗한 음성 및 4가지 방식으로 품질이 저하된 음성)를 대상으로 트랙 1에서는 모든 정렬기에 참조 전사본을 제공하고, 트랙 2에서는 인식기 출력을 제공하여 21개의 공개 모델과 9개의 상용 API를 평가합니다. 발화의 모든 경계를 채점하고 양옆의 두 라벨을 확인하므로, 인식기가 누락하거나 잘못 생성한 단어에는 페널티가 부과됩니다. 허용 오차 기반 F1을 주요 지표로 사용하여, 대화체 음성에서 인식 의존적 시스템에 대해 표준 MAE가 유발하던 9%~14%의 점수 인플레이션을 제거했습니다. 그런 다음 경계를 위치와 올바르게 인식된 인접 단어 수에 따라 그룹화하여 시스템이 어디서 점수를 잃었는지 보여줍니다. 또한 현재 시스템들이 단어 타이밍을 잡는 방식에서 체계적인 바이어스를 발견했는데, Whisper는 약 150ms 빠르고 여러 상용 ASR API는 50ms 이상 늦었습니다. 코드와 결과는 https://github.com/olewave/fa-bench 에서 확인할 수 있습니다.
음성학적 강제 정렬은 음성학 연구의 핵심 기법이지만, 기존 정렬 시스템에는 저자원 언어 변종을 위한 특화 모델이 부족하다. 본 연구는 17시간 규모의 말뭉치와 맞춤형 G2P(Graph-to-Phoneme) 사전을 사용하여 청두 만다린용 텍스트 의존형 및 텍스트 독립형 정렬기를 학습함으로써 이 문제를 해결한다. 텍스트 의존형 GMM-HMM 모델(Chengdu-MFA)을 학습했고, 텍스트 독립형 정렬(Chengdu-FC)을 위해 Chengdu-MFA의 의사 라벨(pseudo label)을 이용한 프레임 분류로 사전학습된 오디오 인코더를 파인튜닝했다. 전문가 주석이 달린 테스트 세트에 대한 평가 결과, 두 방법 모두 표준 만다린(Standard Mandarin) 기준선을 크게 능가하는 것으로 나타났다. Chengdu-MFA는 평균 음소 경계 차이를 31.8% 줄였고, Chengdu-FC는 61.2% 감소를 달성했다. 본 연구는 노동 및 시간이 많이 드는 수동 주석 없이도 자원이 부족한 언어 변종을 위한 정확한 정렬기를 개발할 수 있는 실용적인 부트스트래핑 파이프라인을 제시한다.
Montreal Forced Aligner(MFA) 3.0의 버전 1.0 이후 주요 개선 사항을 정리하고, 영어·일본어·한국어에서 기존 및 신경망 기반 강제 정렬기와 성능을 비교 평가한다. MFA 3.0은 네 개 벤치마크 데이터셋에서 평균 경계 오차 15ms 미만으로 최첨단 또는 그에 준하는 정렬 성능을 달성하며, 모델 적응과 교차 언어 음소 리매핑이 학습 분포 밖 언어에서도 효과적이다.