음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화
Quantifying the Generation Modality Gap in Speech-Text Language Models
순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.