FA-Bench: 깨끗한 음성 및 노이즈 음성 환경에서 강제 정렬과 ASR의 음소 및 단어 단위 타임스탬프 정확도 벤치마크
FA-Bench: A Benchmark for Phone- and Word-Level Timestamp Accuracy in Forced Alignment and ASR on Clean and Noisy Speech
강제 정렬(forced alignment)은 음성과 해당 전사본이 주어졌을 때 각 단어, 음소(phone) 또는 문자의 타임스탬프를 추정합니다. 기존 연구들의 비교 방식은 전사본 정규화, 데이터 분할, 경계 매칭 방식이 제각각이어서 그 수치들을 직접 비교할 수 없습니다. 본 논문에서는 이러한 선택 사항들을 통일하고 코드, 분할 데이터, 음소 매핑, 텍스트 정규화, 채점 스크립트를 공개하며 정기적으로 결과를 게시하는 공개 프레임워크인 FA-Bench를 제시합니다. 통합 프로토콜 하에 동일한 오디오(깨끗한 음성 및 4가지 방식으로 품질이 저하된 음성)를 대상으로 트랙 1에서는 모든 정렬기에 참조 전사본을 제공하고, 트랙 2에서는 인식기 출력을 제공하여 21개의 공개 모델과 9개의 상용 API를 평가합니다. 발화의 모든 경계를 채점하고 양옆의 두 라벨을 확인하므로, 인식기가 누락하거나 잘못 생성한 단어에는 페널티가 부과됩니다. 허용 오차 기반 F1을 주요 지표로 사용하여, 대화체 음성에서 인식 의존적 시스템에 대해 표준 MAE가 유발하던 9%~14%의 점수 인플레이션을 제거했습니다. 그런 다음 경계를 위치와 올바르게 인식된 인접 단어 수에 따라 그룹화하여 시스템이 어디서 점수를 잃었는지 보여줍니다. 또한 현재 시스템들이 단어 타이밍을 잡는 방식에서 체계적인 바이어스를 발견했는데, Whisper는 약 150ms 빠르고 여러 상용 ASR API는 50ms 이상 늦었습니다. 코드와 결과는 https://github.com/olewave/fa-bench 에서 확인할 수 있습니다.