UniX-Encoder: A Universal $X$-Channel Speech Encoder for Ad-Hoc Microphone Array Speech Processing
원문 초록
The speech field is evolving to solve more challenging scenarios, such as multi-channel recordings with multiple simultaneous talkers. Given the many types of microphone setups out there, we present the UniX-Encoder. It's a universal encoder designed for multiple tasks, and worked with any microphone array, in both solo and multi-talker environments. Our research enhances previous multi-channel speech processing efforts in four key areas: 1) Adaptability: Contrasting traditional models constrained to certain microphone array configurations, our encoder is universally compatible. 2) Multi-Task Capability: Beyond the single-task focus of previous systems, UniX-Encoder acts as a robust upstream model, adeptly extracting features for diverse tasks including ASR and speaker recognition. 3) Self-Supervised Training: The encoder is trained without requiring labeled multi-channel data. 4) End-to-End Integration: In contrast to models that first beamform then process single-channels, our encoder offers an end-to-end solution, bypassing explicit beamforming or separation. To validate its effectiveness, we tested the UniX-Encoder on a synthetic multi-channel dataset from the LibriSpeech corpus. Across tasks like speech recognition and speaker diarization, our encoder consistently outperformed combinations like the WavLM model with the BeamformIt frontend.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Seewo's Submission to MLC-SLM: Lessons learned from Speech Reasoning Language Models
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Diarization-Aware Multi-Speaker Automatic Speech Recognition via Large Language Models
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
VieSpeaker: A Large-Scale Vietnamese Speaker Recognition Dataset Beyond Visual Dependency
LibriConvo: 자동 음성 인식(ASR) 및 화자 분리를 위한 낭독 문학 기반 대화 시뮬레이션
LibriConvo: Simulating Conversations from Read Literature for ASR and Diarization
본 논문에서는 화자 분리(speaker diarization)와 자동 음성 인식(ASR)을 위한 합성 대화 음성 말뭉치인 LibriConvo를 소개합니다. 이는 데이터셋 및 벤치마킹 환경에서 기존에 제안된 화자 인식형 시뮬레이션 대화(SASC) 프레임워크를 구현하여 구축되었습니다. 이 논문의 주요 기여는 해당 프레임워크에서 파생된 말뭉치 구축 파이프라인과 벤치마크입니다. 데이터를 다운스트림 ASR 및 화자 분리에 더 적합하게 만들기 위해, 외부 음성 활동 감지(VAD)를 사용하여 English CallHome에서 대화 타이밍 통계를 추정하고, 긴 침묵을 압축하며, 지역적 의미 연속성을 높이기 위해 LibriTTS 발화를 책 단위로 그룹화하고, 공간적 타당성 휴리스틱(heuristic)을 통해 실내 임펄스 응답(RIR)을 선택했습니다. 결과적으로 생성된 말뭉치는 830명의 화자가 참여하는 1,496개의 대화에 걸쳐 총 240.1시간의 오디오를 포함하며, 화자가 중복되지 않도록 구성된 학습(training), 검증(validation), 테스트 분할로 나뉩니다. 화자 분리 및 ASR에 대한 기준선(baseline) 결과를 보고합니다. 테스트 분할에서 Sortformer는 화자 분리 작업에서 pyannote 파이프라인보다 우수한 성능을 보였습니다(11.1% vs.~24.4% DER). ASR의 경우, Serialized Output Training을 통해 파인튜닝된 Fast Conformer-CTC XLarge 모델은 7.29%의 WER과 6.97%의 cpWER을 달성하여 제로샷(zero-shot) Whisper-large-v3 모델을 능가했습니다. 이러한 결과는 LibriConvo가 합성 대화 음성 연구 및 다중 화자 음성 처리 시스템 평가를 위한 실용적인 벤치마크임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.