HINTT의 제2회 MLC-SLM 챌린지 제출: 화자 분할과 ASR에 대한 캐스케이드 방식과 통합 방식 비교
HINTT Submission to the 2nd MLC-SLM Challenge: Comparing Cascaded and Unified Approaches to Diarization and ASR
한국어 초록
본 논문은 제2회 다국어 대화형 음성 언어 모델(Multilingual Conversational Speech Language Model, MLC-SLM) 챌린지 및 워크숍에 제출된 HINTT 시스템을 소개한다. 우리는 다국어 화자 귀속 ASR(speaker-attributed ASR) 문제를 다루는데, 이는 시스템이 언제 누가 말했는지와 무엇을 말했는지를 판별해야 하는 과제이다. 우리는 이 문제에 대해 두 가지 모델링 전략을 조사한다: 화자 분할(diarization)과 음성 언어 모델(speech-LLM) 기반 ASR을 결합한 캐스케이드 파이프라인과, 화자 레이블, 타임스탬프, 전사(transcription)를 직접 생성하는 통합 음성 언어 모델이다. 최종 제출물은 캐스케이드 파이프라인을 기반으로 하며, 미세조정된 DiariZen 화자 분할 모델, 미세조정된 Qwen3-ASR 모델, 그리고 LLM 기반 생성적 오류 수정(generative error correction)으로 구성된다. 비교를 위해 동일한 공식 학습 데이터를 사용하여 VibeVoice-ASR을 통합 모델로서 미세조정하였다. 모든 과제별 미세조정과 모델 선택은 외부 데이터나 가짜 레이블(pseudo-label) 없이 오직 공식 MLC-SLM 데이터만을 사용하여 수행되었다. 실험 결과는 캐스케이드 시스템이 MLC-SLM Task 1 조건에서 더 신뢰성이 높음을 보여주는 한편, 통합 음성 언어 모델이 향후 화자 귀속 ASR에 유망한 방향을 제시함을 보여준다.
원문 초록
This paper presents the HINTT system submitted to the 2nd Challenge and Workshop on Multilingual Conversational Speech Language Model (MLC-SLM). We address multilingual speaker-attributed ASR, where systems must determine who spoke when and what was spoken. We investigate two modeling strategies for this problem: a cascaded pipeline that combines speaker diarization with speech-LLM-based ASR, and a unified speech LLM that directly generates speaker labels, timestamps, and transcriptions. Our final submission is based on the cascaded pipeline, consisting of a fine-tuned DiariZen diarization model, a fine-tuned Qwen3-ASR model, and LLM-based generative error correction. For comparison, we also fine-tune VibeVoice-ASR as a unified model using the same official training data. All task-specific fine-tuning and model selection are performed using only the official MLC-SLM data, without external data or pseudo-labels. Experimental results demonstrate that the cascaded system remains more reliable under the MLC-SLM Task 1 conditions, while unified speech LLMs offer a promising direction for future speaker-attributed ASR.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.