arXiv:2610.02941v1 eess.AS

FASTDIAR: 스트리밍 화자 분할을 위한 프레임 단위 화자 인코더

FASTDIAR: Frame-level speaker encoder for Streaming Diarization

Nikita Torgashov, Okan Köpüklü

제출 2026-10-02

저자 비고

arXiv Comments

5 pages, submitted to IEEE ICASSP 2027

한국어 초록

실시간 대화형 에이전트(agent)는 스트리밍 방식으로 동작하며 CPU에서 실행 가능한 화자 분할(speaker diarization)을 필요로 합니다. 대부분의 시스템은 발화 단위(utterance-level) 화자 인코더를 짧고 크게 중첩되는 청크에 적용하므로 연산이 낭비되고 모델이 부적절한 태스크에 최적화된 상태로 남게 됩니다. 본 연구에서는 이 대신 최신 화자 인식 아키텍처를 인과적(causal) 프레임 단위 인코더로 변환하여, 스트림을 한 번만 읽고 과거 2초의 유계 윈도우로부터 80 ms마다 하나의 임베딩을 출력하도록 하며, 스트림의 자기 유사성에 따라 모든 업데이트를 게이팅하는 온라인 클러스터링과 결합합니다. 시뮬레이션 및 도메인 외(out-of-domain) 혼합 음성에서 발화 단위 교사(teacher) 모델로부터의 지식 증류(distillation)만으로 학습되고 단일 고정 하이퍼파라미터 세트로 평가된 본 시스템은 1초 미만의 지연 시간(sub-second latency)에서 중첩이 적은 벤치마크 기준 가장 정확한 스트리밍 화자 분할기이며, 화자 수가 증가함에 따른 성능 저하가 캐시 기반 시스템보다 훨씬 적고, 단일 CPU 스레드에서 실시간 대비 5배 빠르게 동작합니다.

원문 초록

Real-time conversational agents require speaker diarization that streams and runs on a CPU. Most systems apply an utterance-level speaker encoder to short, heavily overlapping chunks, which wastes computation and leaves the model optimized for the wrong task. We instead turn a state-of-the-art speaker recognition architecture into a causal frame-level encoder that reads the stream once and emits one embedding every 80~ms from a bounded two-second window of past audio, and pair it with online clustering that gates every update on the self-similarity of the stream. Trained only by distillation from an utterance-level teacher on simulated and out-of-domain mixtures, and evaluated with one fixed set of hyperparameters, the system is the most accurate streaming diarizer on low-overlap benchmarks at sub-second latency, degrades far less than cache-based systems as the number of speakers grows, and runs five times faster than real time on a single CPU thread.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02941v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.