arXiv:2610.41292v1 cs.CL

전사에서 재구성으로: 근거 기반 생성형 음성 인식의 정의와 벤치마크

From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition

Qing Wang, Qihan Hu, Hang Lv, Yan Yang, Boqing Liu, Xuechao Zhu, Zehan Li, Hongjie Chen, Jian Kang, Jie Li, Yongxiang Li, Lei Xie

제출 2026-11-02

한국어 초록

음성 언어 모델은 자동 음성 인식(ASR)을 전사에서 범용 음성-텍스트 생성으로 확장했다. 그러나 기존 벤치마크는 여전히 발화당 하나의 정답 전사본을 가정하며, 이 가정은 모델이 읽기 쉽거나 서식화되거나 구조화된 출력을 생성할 때 한계를 보인다. 본 연구에서는 음성 인식을 단일 전사본이 아니라 의미적으로 근거가 있는 텍스트를 생성하는 것으로 재정식화한 근거 기반 생성형 음성 인식(Grounded Generative Speech Recognition, GSR)을 제안한다. 우리는 입력 음성이 뒷받침하는 모든 유효한 텍스트 실현을 특징짓는 근거 기반 재구성 공간을 정의하고, 문자 그대로의 전사, 정규 재구성, 의미적 재구성, 음성 근거 기반 구조화를 포함하는 4단계의 재구성 능력 계층을 수립한다. 이 정식화를 바탕으로, 정확한 전사 일치를 넘어 생성형 음성 인식 시스템을 평가하도록 설계된 최초의 포괄적 벤치마크인 GSR-Bench를 제시한다. GSR-Bench는 정제된 회의 전사, 방언 간 번역, 문맥 인식 음성 이해, 무음 또는 잡음 음향 조건에서의 강건성 등 다양한 시나리오를 다룬다. 단어 수준 평가 지표의 한계를 해결하기 위해, 음성 근거성 평가와 LLM 기반 의미 판정을 결합한 다차원 평가 프레임워크를 개발하였으며, 그 신뢰성은 인간 선호 연구를 통해 검증된다. 기존 ASR 시스템부터 종단간 Speech-LLM에 이르는 대표적 아키텍처에 대한 광범위한 실험은 전사 충실도와 생성적 재구성 능력 사이의 근본적인 상충 관계를 보여 준다. 또한 분석을 통해 음향 환각, 근거 없는 생성, 지시 이탈 등 핵심적인 실패 유형을 규명하여, 향후 근거 기반 생성형 음성 시스템의 설계와 평가에 대한 통찰을 제공한다.

원문 초록

Speech language models have expanded automatic speech recognition (ASR) from transcription to general speech-to-text generation. Yet existing benchmarks still assume a single ground-truth transcript per utterance, an assumption that struggles when models produce readable, formatted, or structured outputs. In this work, we introduce Grounded Generative Speech Recognition (GSR), reformulating speech recognition as generating semantically grounded text instead of a single transcript. We define a grounded reformulation space that characterizes all valid textual realizations supported by the input speech, and establish a four-level hierarchy of reformulation capabilities, including literal transcription, canonical reformulation, semantic reformulation and speech-grounded structuring. Based on this formulation, we present GSR-Bench, the first comprehensive benchmark designed to evaluate generative speech recognition systems beyond exact transcript matching. GSR-Bench covers diverse scenarios including refined meeting transcription, cross-dialect translation, context-aware speech understanding, and robustness under silent or noisy acoustic conditions. To address the limitations of word-level evaluation metrics, we develop a multi-dimensional evaluation framework combining speech grounding assessment and LLM-based semantic judgment, whose reliability is validated through human preference studies. Extensive experiments across representative architectures, ranging from conventional ASR systems to end-to-end Speech-LLMs, reveal fundamental trade-offs between transcription fidelity and generative reformulation ability. Our analysis further identifies critical failure modes, including acoustic hallucination, unsupported generation, and instruction drift, providing insights into the design and evaluation of future grounded generative speech systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.41292v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.