OmniTag-LLM: 다국어 다중 과제 음성 태깅
OmniTag-LLM: Multilingual Multitask Speech Tagging
한국어 초록
멀티모달 LLM은 하나의 오디오 클립으로부터 받아쓰기와 함께 감정, 성별, 언어, 개체명을 동시에 레이블링하는 단일 시스템으로, 전통적인 전문 음성 모델의 연쇄 구조를 대체할 수 있을 것으로 기대된다. 그러나 대부분의 벤치마크는 여전히 이러한 과제를 개별적으로, 그리고 주로 영어로 평가한다. 본 연구는 공동 이해를 위한 5개 언어(en/de/es/fr/it) 벤치마크이자 학습 방법인 OmniTag-Bench를 소개한다. 이는 하나의 오디오 클립을 입력하면 하나의 JSON 객체(전사문, 감정, 성별, LID, 토큰 수준 NER)를 출력하는 방식이다. 통합된 프롬프트와 채점기를 사용하여 공개 멀티모달 LLM 열 개와 LoRA로 미세 조정한 Qwen3-Omni를 평가한다. 종합 점수를 넘어, OmniTag-Bench는 체계적인 실패 양상을 드러낸다. 여러 강력한 모델이 비영어 음성을 영어로 받아쓰거나 번역하여 다국어 WER를 부풀린다. 미세 조정은 NER, 감정, WER에서 기반 모델을 개선하며, 독립적인 사람 레이블 감정 코퍼스에서 정확도를 거의 두 배로 높여 의사 레이블 모방을 넘어서는 전이 가능한 이득을 시사한다. 미세 조정된 모델은 보지 못했으나 관련된 언어로도 일반화되어, 보류된 네덜란드어로 전이된다. 프롬프트, 채점기, 레이블링 파이프라인을 공개한다.
원문 초록
Multimodal LLMs promise to replace the traditional cascade of specialist speech models with a single system that, from one audio clip, jointly transcribes and labels emotion, gender, language, and named entities. Yet most benchmarks still score these tasks in isolation, and largely in English. We introduce OmniTag-Bench, a five-language benchmark (en/de/es/fr/it) and training recipe for joint understanding: one audio clip in, one JSON object out (transcript, emotion, gender, LID, token-level NER). We evaluate ten open multimodal LLMs and a LoRA fine-tuned Qwen3-Omni on a unified prompt and scorer. Beyond aggregate scores, OmniTag-Bench reveals a systematic failure mode: several strong models often transcribe or translate non-English speech into English, inflating multilingual WER. Fine-tuning improves the base model on NER, emotion, and WER while nearly doubling accuracy on independent human-labeled emotion corpora, suggesting transferable gains beyond pseudo-label imitation. The fine-tuned model also generalizes to unseen but related languages, transferring to held-out Dutch. We release prompts, the scorer, and the labeling pipeline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.18589v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.