arXiv:2609.21676v1 eess.AS

Spoken Wikipedia Presentation 코퍼스

The Spoken Wikipedia Presentation Corpus

Thomas Ranzenberger, Steffen Freisinger, Tobias Bocklet, Korbinian Riedhammer

제출 2026-09-21

한국어 초록

본 논문에서는 멀티모달 자동 음성 인식(ASR)을 위해 대규모 언어 모델(LLM) 기반으로 생성된 슬라이드 덱을 포함하는 Spoken Wikipedia Corpora의 확장판인 Spoken Wikipedia Presentation Corpus를 소개합니다. 슬라이드는 LLM 기반 콘텐츠 기획과 규칙 기반 디자인 결정을 결합한 하이브리드 파이프라인을 사용하여 LLM이 분할한 섹션으로부터 제작됩니다. 각 섹션에 대해 LLM은 슬라이드 제목, 글머리 기호(bullet points), 핵심 메시지(takeaway message), 그리고 삽화를 생성하는 데 사용되는 시각적 설명을 생성합니다. 이후 규칙 기반 매칭을 통해 레이아웃, 테마, 스타일을 선택하여 최종 슬라이드를 제작합니다. 비전 LLM은 슬라이드 텍스트를 Markdown 형태로 추출합니다. 여러 ASR 및 음성 언어 모델(SLM)을 평가한 결과, 최고 성능의 모델은 오디오 전용 입력에서 평균 10.23%의 마이크로 WER과 6.48%의 마이크로 CER을 달성했습니다. 영어의 오류율이 가장 낮았고 독일어와 네덜란드어가 그 뒤를 이었으며, 저자원 언어 전반에서는 성능이 저하되었습니다. 오디오 전용 베이스라인이 강력하지만, 옴니(omni) 모델의 멀티모달 제로샷(zero-shot) 프롬프팅은 여전히 어려운 과제로 남아 있습니다. 정렬된 슬라이드, 텍스트 및 오디오 데이터는 크로스 모달 컨텍스트를 통해 인식 성능을 향상시킬 수 있는 강력한 잠재력을 보여줍니다.

원문 초록

We present the Spoken Wikipedia Presentation Corpus, an extension of the Spoken Wikipedia Corpora featuring LLM-generated slide decks for multimodal ASR. Slides are created from LLM-segmented sections using a hybrid pipeline that combines LLM-based content planning with rule-based design decisions. For each section, an LLM generates a slide title, bullet points, a takeaway message, and a visual description that is used to create an illustration. Rule-based matching then selects layouts, themes, and styles to produce the final slides. A vision LLM extracts slide text as Markdown. We evaluate multiple ASR and spoken language models (SLMs). The best model achieves an average micro-WER of 10.23% and an average micro-CER of 6.48% on audio-only inputs. English yields the lowest error rates, followed by German and Dutch, while performance declines across lower-resource languages. Although audio-only baselines are strong, multimodal zero-shot prompting of omni models remains challenging. The aligned slide, text, and audio data show a strong potential to improve recognition through cross-modal context.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.21676v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.