arXiv:2607.04941v1 cs.CL

DuplexChat: 구어체 대화 언어 모델링을 위한 화자 분리 전이중(Full-Duplex) 대화 음성의 대규모 구축

DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling

Wataru Nakata, Yuki Saito, Hiroshi Saruwatari

제출 2026-07-06

한국어 초록

전이중(full-duplex) 구어체 대화 모델은 각 화자가 별도의 스트림으로 표현된 대화 음성으로 학습되지만, 기존의 대규모 공개 음성 코퍼스는 대부분 단일 채널(monaural)로 구성되어 있어 구어체 대화 언어 모델(SDLM) 학습에 적합하지 않다. 본 논문에서는 전이중 구어체 대화 모델을 위한 오픈소스 코퍼스인 DuplexChat과, 공개 팟캐스트 피드로부터 화자 분리 전이중 대화 음성을 구축하는 파이프라인인 DuplexChat-Pipe를 제안한다. DuplexChat-Pipe는 언어별 팟캐스트 피드를 필터링하고, 에피소드 오디오를 수집 및 정제하며, 화자 다이어리제이션(diarization) 기반의 2인 대화 클립을 추출하고, 음성 분리 및 복원을 적용하여 화자별 단일 채널을 생성한다. 이 파이프라인을 실행한 결과, 영어 282,634시간과 일본어 132,723시간을 포함하는 화자 분리 구어체 대화 코퍼스가 생성되었다. DuplexChat에 대한 분석 결과, 해당 코퍼스에는 인간 대화에서 나타나는 턴테이킹(turn-taking) 역학이 포함되어 있음을 확인하였다.

원문 초록

Full-duplex spoken dialogue models are trained on conversational speech in which each speaker is represented as a separate stream, but existing large-scale public speech corpora are mostly monaural, making them unsuited for SDLM training. We present DuplexChat, an open-source corpus for full-duplex spoken dialogue models, and DuplexChat-Pipe, a pipeline for constructing speaker-separated full-duplex dialogue speech from public podcast feeds. DuplexChat-Pipe filters language-specific podcast feeds, retrieves and cleans episode audio, extracts diarization-guided two-speaker dialogue clips, and applies speech separation and restoration to produce one channel per speaker. Running this pipeline yields a speaker-separated spoken dialogue corpus covering 282,634 hours of English and 132,723 hours of Japanese. Analysis results on DuplexChat show that it contains turn-taking dynamics present in human dialogues.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.04941v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, Speech Synthesis, Speaker Diarization

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.08409v1cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, Speech Synthesis

합성 음성만 있을 때: GRPO를 선택하라

When Synthetic Speech Is All You Have: Better Call GRPO

은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.

arXiv:2607.06054v1cs.SD공통 태그 Speech Recognition, Automatic Speech Recognition, Speech Synthesis

BlueMagpie-TTS: 대만 억양 코드 스위칭 음성을 위한 토큰 효율적 토크나이저, 언어 모델 및 TTS

BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech

기성 TTS 시스템은 대만 만다린에 제대로 적응되어 있지 않다. 이 시스템들은 억양이 다른 만다린 변형으로 기본 설정되어 있고, 토크나이저는 일반적인 대만 텍스트를 과도하게 분절하며, 중국어와 영어가 하나의 발화 내에서 교차하는 코드 스위칭 경계에서 발음 품질이 저하된다. 이러한 문제들은 하나의 근본 원인을 공유한다: 텍스트 측면에서 대만 맥락에 대한 적응이 부족하다는 것이다. 우리는 텍스트 측면을 근본부터 해결한다. 대만 맥락 데이터로 학습된 바이트 수준 BPE 토크나이저인 PangolinTokenizer는 9개의 토크나이저 중 가장 작은 어휘로 가장 낮은 토큰 비율(0.485 토큰/문자)을 달성한다. PangolinTokenizer로 학습된 수십억 매개변수 규모의 번체 중국어 언어 모델인 Barbet은 텍스트-의미 프론트엔드로 기능하며, 14개 태스크 평가에서 비교 가능한 공개 모델 중 1위를 차지한다. BlueMagpie-TTS는 학습된 브리지를 통해 Barbet을 VoxCPM2의 사전학습된 음향 스택에 연결하며, 음향 스택은 고정된 상태로 유지한다. 1,000문장으로 구성된 대만 현지화 테스트 세트에서, 문자 오류율(CER)을 11.45%에서 4.81%로, 단어 오류율(WER)을 14.83%에서 5.36%로 낮추어 각각 58.0%, 63.9%의 상대적 감소를 달성한다. 이 문장 중 500개에 대해 10명의 청취자를 대상으로 한 블라인드 청취 연구에서, 다수결 투표의 65.6%가 BlueMagpie-TTS를 선호하였다.

arXiv:2603.21664v3cs.CV공통 태그 Speech Recognition, Automatic Speech Recognition, Speaker Diarization

HumanOmni-Speaker: 누가 무엇을 언제 말했는지 식별하기

HumanOmni-Speaker: Identifying Who said What and When

옴니모달 대규모 언어 모델(Omni-modal LLM)이 통합 감각 처리에서 진전을 이루었음에도 불구하고, 이 모델들은 인간 상호작용의 핵심인 복잡한 다화자 대화 역학을 해독하여 '누가 무엇을 언제 말했는지'에 정확히 답하는 것에 근본적인 어려움을 겪고 있다. 현재 모델들은 '역량의 환상(illusion of competence)'에 시달리는데, 기존 벤치마크의 시각적 편향을 이용해 진정한 크로스모달 정렬을 우회하면서, 입술 움직임과 같은 중요한 고주파 역학을 파괴하는 희소하고 저프레임 속도의 시각 샘플링에 의존하기 때문이다. 이 환상을 타파하기 위해, 우리는 시각 등록 화자 분할 및 인식(VR-SDR, Visual-Registered Speaker Diarization and Recognition)과 HumanOmni-Speaker 벤치마크를 소개한다. 시각적 지름길을 엄격히 제거함으로써, 이 엄밀한 패러다임은 자연어 쿼리만을 사용한 진정한 엔드투엔드 시공간 화자 신원 바인딩을 요구한다. 근본적인 아키텍처 지각 격차를 극복하기 위해, 우리는 Visual Delta Encoder로 구동되는 HumanOmni-Speaker를 제안한다. 원본 비디오를 25fps로 샘플링하고 프레임 간 모션 잔차를 프레임당 단 6개의 토큰으로 명시적으로 압축함으로써, 치명적인 토큰 폭발을 유발하지 않고 세밀한 비짐(viseme)과 화자 궤적을 포착한다. 궁극적으로 HumanOmni-Speaker는 강력한 멀티모달 시너지를 발휘하여, 강제 크롭핑 없이 엔드투엔드 입술 읽기(lip-reading)와 고정밀도(high-precision) 공간 위치 추정을 기본적으로 지원하며, 다양한 화자 중심 태스크 전반에 걸쳐 우수한 성능을 달성한다.

arXiv:2606.31055v1cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, Speech Synthesis

음성 대화 시스템을 위한 참조 기반 운율 및 리듬 평가

Reference-Based Prosody and Rhythm Evaluation for Spoken Dialogue Systems

음성-음성(S2S) AI 에이전트는 빠르게 발전하고 있지만, 대화적 운율(prosody)과 리듬(rhythm)에 대한 해석 가능한 음성 고유 측정치가 평가에 부족하다. F0, 발화 속도, 조음 속도, 휴지(pause)는 모델이 예측한 화자 특성과 상호작용 상태에 따라 변하기 때문에, 통합 인간 통계는 특정 출력을 평가하는 데 적절히 보정되지 않을 수 있다. Seamless Interaction 데이터셋의 4000시간 이상의 이자 영어 대화를 활용하여, F0 평균, F0 표현력, 발화 속도, 조음 속도, 휴지 비율, 평균 휴지 지속 시간에 대한 매칭된 참조 기준(matched reference regimes)을 구성한다. 이후 백분위 기반 평가 프로토콜을 정의한다: S2S 출력 파형에서 동일한 지표를 추출하고, 가장 가까운 매칭된 인간 참조 계층과 비교하여, 백분위 편차 또는 5~95백분위 범위 외 플래그를 보고한다. 홀드아웃 인간 데이터 행에서, 통합 참조는 상태 조건부 F0 표현력과 리듬을 과도하게 플래그하는 반면, 매칭된 참조는 명목상 10%에 가까운 플래그 비율을 반환하고 편차 방향을 해석 가능하게 한다. 이러한 출력은 지각적 및 사용자 중심 평가를 대체하는 것이 아닌 보완하는 행동적 타당성 검사로 기능한다.

arXiv:2604.08448v2cs.CL공통 태그 Speech Recognition, Automatic Speech Recognition, Speech Synthesis

AfriVoices-KE: 케냐 언어를 위한 다국어 음성 데이터셋

AfriVoices-KE: A Multilingual Speech Dataset for Kenyan Languages

AfriVoices-KE는 Dholuo, Kikuyu, Kalenjin, Maasai, Somali 등 5개 케냐어에 걸쳐 약 3,000시간의 오디오로 구성된 대규모 다국어 음성 데이터셋이다. 이 데이터셋은 다양한 지역과 인구통계 특성을 가진 4,777명의 원어민 화자로부터 수집된 750시간의 대본 기반(scripted) 음성과 2,250시간의 자발적(spontaneous) 음성을 포함한다. 본 연구는 고품질의 언어학적으로 다양한 자원을 제공함으로써 음성 기술에서 아프리카 언어가 심각하게 과소 대표된 문제를 해결한다. 데이터 수집은 이중 방법론을 따랐다. 대본 녹음은 편집된 텍스트 말뭉치, 번역문, 그리고 케냐 맥락에 관련된 11개 도메인에 걸친 도메인 특화 생성 문장에서 가져왔으며, 무대본 음성은 자연스러운 언어적 변이와 방언적 뉘앙스를 포착하기 위해 텍스트 및 이미지 프롬프트를 통해 유도되었다. 맞춤형 모바일 애플리케이션을 통해 기여자들이 스마트폰으로 녹음할 수 있었다. 품질 보증은 여러 계층에서 이루어졌으며, 녹음 전 자동 신호 대 잡음비(SNR) 검증과 내용 정확도에 대한 사람 검토를 포함한다. 프로젝트는 신뢰할 수 없는 인프라, 기기 호환성 문제, 지역사회 신뢰 장벽을 포함해 저자원 환경에서 흔한 도전에 직면했지만, 현지 동원자, 이해관계자 파트너십, 적응형 학습 프로토콜을 통해 이를 완화했다. AfriVoices-KE는 포용적인 자동 음성 인식 및 텍스트 음성 변환 시스템 개발을 위한 기초 자원을 제공하며, 케냐의 언어 유산의 디지털 보존을 촉진한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.