A Joint Spectro-Temporal Relational Thinking Based Acoustic Modeling Framework
원문 초록
Relational thinking refers to the inherent ability of humans to form mental impressions about relations between sensory signals and prior knowledge, and subsequently incorporate them into their model of their world. Despite the crucial role relational thinking plays in human understanding of speech, it has yet to be leveraged in any artificial speech recognition systems. Recently, there have been some attempts to correct this oversight, but these have been limited to coarse utterance-level models that operate exclusively in the time domain. In an attempt to narrow the gap between artificial systems and human abilities, this paper presents a novel spectro-temporal relational thinking based acoustic modeling framework. Specifically, it first generates numerous probabilistic graphs to model the relationships among speech segments across both time and frequency domains. The relational information rooted in every pair of nodes within these graphs is then aggregated and embedded into latent representations that can be utilized by downstream tasks. Models built upon this framework outperform state-of-the-art systems with a 7.82\% improvement in phoneme recognition tasks over the TIMIT dataset. In-depth analyses further reveal that our proposed relational thinking modeling mainly improves the model's ability to recognize vowels, which are the most likely to be confused by phoneme recognizers.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PRiSM: 음성 모델의 음소 실현 벤치마킹
PRiSM: Benchmarking Phone Realization in Speech Models
음소 인식(Phone Recognition, PR)은 교차 언어 음성 처리 및 음성학적 분석을 위한 언어 독립적 모델링의 원자적 인터페이스 역할을 한다. PR 시스템 개발에 오랜 노력이 기울여졌음에도 불구하고, 현재의 평가는 표면적인 전사 정확도만을 측정한다. 우리는 PRiSM을 소개한다. 이는 PR 시스템의 내재적 및 외재적 평가를 통해 음성 지각의 맹점을 드러내도록 설계된 최초의 오픈소스 벤치마크이다. PRiSM은 전사 기반 평가를 표준화하고, 전사 및 표현 탐침(representation probe)을 통해 임상, 교육, 다국어 환경에서의 다운스트림 활용성을 평가한다. 우리는 학습 중 다양한 언어 노출이 PR 성능의 핵심임을 발견하였으며, 인코더-CTC 모델이 가장 안정적이고, 특화된 PR 모델이 대규모 오디오 언어 모델보다 여전히 우수한 성능을 보임을 확인하였다. PRiSM은 강건한 음성학적 능력을 갖춘 다국어 음성 모델을 향해 분야가 나아갈 수 있도록 코드, 레시피, 데이터셋을 공개한다: https://github.com/changelinglab/prism.
Fine-Tuning Self-Supervised Learning Models for End-to-End Pronunciation Scoring
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
First Steps Towards Voice Anonymization for Code-Switching Speech
MambAttention: Mamba with Multi-Head Attention for Generalizable Single-Channel Speech Enhancement
Splitformer: An improved early-exit architecture for automatic speech recognition on edge devices
토론
이 논문과 연결된 포럼 글이 아직 없습니다.