arXiv:2607.08111v1 cs.SD

PS4: 실제 목표 화자 추출을 위한 프록시 지도 결합 학습

PS4: Proxy-Supervised Joint Training for Real Target Speaker Extraction

Wanyi Ning, Wei Zhou, Yingpeng Li, Yinshang Guo, Haitao Qian, Yiming Cheng

제출 2026-07-09

한국어 초록

실제 대화 혼합음에 대한 목표 화자 추출(TSE) 모델 학습은 대규모 학습 코퍼스와 지도용 깨끗한 목표 음성을 구하기 어렵기 때문에 여전히 도전적인 과제입니다. 저희는 실제 대화 혼합음에서의 TSE를 위한 프록시 지도 학습 프레임워크 PS4를 제안하며, 두 가지 주요 기여를 합니다. 첫째, 중국어 및 영어 시나리오를 모두 포함하는 네 개의 공개 데이터셋에서 도출한 71,771개의 학습 샘플로 구성된 대규모 코퍼스를 구축합니다. 각 샘플은 중첩 음성 혼합음, 화자별 등록 오디오, 정답 전사본, 프레임 수준 음성 활동 레이블을 포함합니다. 둘째, 자동 음성 인식(ASR) 교차 엔트로피, 화자 유사도, 프레임 수준 음성 활동 감지(VAD), 지각적 오디오 품질이라는 네 가지 상보적 미분 가능 목적 함수를 활용하여 BSRNN 기반 TSE 모델을 미세조정하는 프록시 지도 결합 학습 전략을 제안합니다. 공개된 사전학습 체크포인트에서 시작하여 미세조정 중에는 BSRNN 분리기만 업데이트됩니다. REAL-T 챌린지 리더보드에서 PS4는 전체 2위를 기록하며, 제출된 모든 시스템 중 최고의 화자 유사도와 타이밍 F1을 달성하였습니다.

원문 초록

Training target speaker extraction (TSE) models for real conversational mixtures remains challenging because large-scale training corpora and clean target speech for supervision are unavailable. We present PS4, a proxy-supervised training framework for TSE in real conversational mixtures, with two main contributions. First, we construct a large-scale corpus of 71,771 training samples derived from four public datasets, covering both Chinese and English scenarios. Each sample contains an overlapping speech mixture, per-speaker enrollment audio, a ground-truth transcript, and frame-level voice activity labels. Second, we propose a proxy-supervised joint training strategy that fine-tunes a BSRNN-based TSE model using four complementary differentiable objectives: ASR cross-entropy, speaker similarity, frame-level voice activity detection, and perceptual audio quality. Starting from a publicly available pre-trained checkpoint, only the BSRNN separator is updated during fine-tuning. On the REAL-T challenge leaderboard, PS4 ranks 2nd overall, achieving the best speaker similarity and timing F1 among all submitted systems.

요약

실제 대화 녹음에서 깨끗한 목표 음성 없이 목표 화자 추출(TSE) 모델을 학습하는 문제를 해결하기 위해, PS4는 ASR 교차 엔트로피, 화자 유사도, 음성 활동 감지(VAD), 지각적 음질이라는 네 가지 프록시 지도 목적 함수로 BSRNN 기반 TSE 모델을 결합 학습하는 프레임워크를 제안한다. AISHELL-4, AliMeeting, AMI, CHiME-6에서 구축한 71,771개 샘플의 대규모 코퍼스 REAL-PS4로 학습한 결과, REAL-T 챌린지 리더보드에서 전체 2위를 기록하며 제출 시스템 중 최고의 화자 유사도와 타이밍 F1을 달성하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.08111v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Recognition, Speech Synthesis, automatic speech recognition asr

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.10191v1cs.SD공통 태그 Speech Recognition, Speech Synthesis, speaker extraction

심층 특징 앵커링 선호 최적화를 통한 스트리밍 목표 화자 추출의 품질-명료도 트레이드오프 극복

Breaking the Quality--Intelligibility Trade-off in Streaming Target Speaker Extraction via Deep-Feature-Anchored Preference Optimization

목표 화자 추출(TSE)을 위한 생성형 스트리밍 모델은 일반적으로 품질-명료도 트레이드오프를 나타내는데, 지각적 오디오 품질을 위한 단순한 최적화는 음성 명료도를 저하시키는 경향이 있으며 그 반대도 마찬가지이다. 우리는 이 트레이드오프가 스트리밍 아키텍처의 제약에서 비롯되는 것이 아니라, 최적화 앵커의 부적절한 선택에서 발생함을 밝힌다. 오디오 품질 지표를 직접 최적화하면 치명적인 보상 해킹(reward hacking)이 유발되며, 이로 인해 발음과 명료도에 핵심적인 콘텐츠가 대리 점수를 극대화하기 위해 체계적으로 제거된다. 이 병목을 해소하기 위해, 우리는 두 가지 상호 보완적인 개선책을 제안한다: 더 풍부한 로컬 스펙트로-시간 모델링을 위한 확장된 Conformer 합성곱 커널, 그리고 WavLM 앵커링 직접 선호 최적화(DPO) 미세조정 전략이다. DPO 선호 쌍은 음성 구조와 화자 정체성을 모두 인코딩하는 심층 음향 특징인 WavLM 코사인 유사도로 순위가 매겨지며, 이는 해킹에 저항하는 최적화 앵커를 제공한다. 560 ms 스트리밍 청크 크기에서, 제안된 방법은 10.9%의 상대적 명료도 향상(단어 오류율: 0.138에서 0.123)을 달성하며, 오디오 품질과 화자 유사도에서도 동시에 소폭의 향상을 보인다.

arXiv:2607.08409v1cs.CL공통 태그 Speech Recognition, Speech Synthesis, automatic speech recognition asr

합성 음성만 있을 때: GRPO를 선택하라

When Synthetic Speech Is All You Have: Better Call GRPO

은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.

arXiv:2607.05196v2cs.CL공통 태그 Speech Recognition, Speech Synthesis, automatic speech recognition asr

텍스트 지능의 퇴보 없는 통합 오디오 지능

Unified Audio Intelligence Without Regressing on Text Intelligence

오디오 지능은 오디오와 음성 모두를 이해하고 추론하며 생성하는 것을 포함한다. 본 연구에서는 강력한 텍스트 전용 MoE 대규모 언어 모델(LLM)인 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM, Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 간단한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 한다. 학습을 위해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 구축하였다. 이 데이터셋에 대해 다단계 지도 학습을 적용한 후, 텍스트 전용 Cascade 강화학습(RL)과 다중 도메인 온-정책 지식 증류를 수행하였다. Audex는 최첨단 오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환, 오디오 생성, 음성-음성 생성을 제공하는 동시에, 텍스트 전용 LLM 백본이 지닌 뛰어난 추론, 정렬(alignment), 지식, 긴 컨텍스트, 에이전트(agentic) 역량을 미미하거나 전혀 없는 퇴보로 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.

arXiv:2607.05365v1cs.CL공통 태그 Speech Recognition, Speech Synthesis, automatic speech recognition asr

SPEARBench: 스트리밍 음성-음성 언어 모델의 자연스러움 평가를 위한 벤치마크

SPEARBench: A Benchmark for Naturalness Evaluation in Streaming Speech-to-Speech Language Models

스트리밍 음성-음성 언어 모델은 구어체 질의에 합성 음성으로 직접 답변하는 것을 목표로 한다. 그러나 기존의 음성 및 텍스트 벤치마크는 이러한 시스템이 대화에서 자연스럽게 동작하는지 포착하지 못한다. 대화에서는 타이밍, 순서 교대(turn-taking), 운율(prosody), 대인 태도(interpersonal stance), 언어 및 방언 일관성, 관계 인식 적절성이 복합적으로 지각 품질을 결정한다. 우리는 질의-응답 상호작용에서 음성-음성 언어 모델의 자연스러움을 평가하기 위한 벤치마크인 SPEARBench를 소개한다. SPEARBench는 Seamless Interaction 코퍼스로부터 통제된 대화 프롬프트를 구성하고, 여러 모델에 걸쳐 추론을 수행한 후, 응답 지연(response latency), 끼어들기(interruptions), 음성 품질, ASR 견고성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 태도, 그리고 설명 가능한 분포적 기준선을 포괄하는 다차원 프로토콜로 생성된 답변을 평가한다. 이 벤치마크는 참조 조건으로 원본 인간 답변을 포함하며, 여러 최신 모델에 대한 결과를 보고한다. 결과에 따르면 현재 모델들은 높은 신호 수준의 품질과 낮은 ASR 오류를 달성할 수 있으나, 지연, 겹침, 방언 보존, 감정 적응, 대인 태도 역학 측면에서 인간 대화 행동과 여전히 차이를 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.