arXiv:2606.10781v3 eess.AS

비지도 용어 발견에서 지프 분포(Zipfian Distribution) 복원하기

Recovering the Zipfian Distribution in Unsupervised Term Discovery

Danel Slabbert, Simon Malan, Herman Kamper

제출 2026-09-23

한국어 초록

비지도 용어 발견(unsupervised term discovery)은 레이블이 없는 음성을 단어 또는 음절 단위의 유닛으로 분할하고, 이를 군집화하여 후보 타입들의 어휘집(lexicon)을 구성하는 작업이다. 실제 어휘집은 지프 분포(Zipfian distribution)를 따르지만, 지배적인 중심 기반 군집화 방식인 K-means는 구형 군집을 선호하는 귀납적 바이어스(inductive bias) 때문에 더 균일한 분포를 만들어 낸다. 본 논문에서는 상향식(bottom-up) 대안으로서 그래프 기반 군집화를 다시 살펴본다. 이 방식에서는 세그먼트 임베딩을 쌍별 유사도로 연결하고, Leiden 알고리즘으로 분할한다. 우리는 그래프 군집화가 세 개 언어에 걸친 단어 및 음절 수준의 어휘집 발견 모두에서 중심 기반 방식(K-means, GMM, BIRCH)을 크게 능가하며, 더 지프 분포에 가까운 분포를 만들어 냄을 보인다. 또 다른 상향식 방식인 평균 연결(average linkage) 기반 병합 군집화 역시 좋은 성능을 보이지만, 계산 효율이 더 낮고 결과 분포에 대한 제어가 더 제한적이다. 본 연구는 용어 발견에서 중심 기반 군집화가 지배적이라는 통념에 의문을 제기하며, 그래프 군집화를 매력적인 대안으로 제안한다.

원문 초록

Unsupervised term discovery involves segmenting unlabelled speech into word- or syllable-like units and clustering these into a lexicon of candidate types. True lexicons follow a Zipfian distribution, yet the dominant centre-based clustering approach -- K-means -- produces a more uniform distribution due to an inductive bias toward spherical clusters. In this paper we revisit graph-based clustering as a bottom-up alternative, where segment embeddings are connected by pairwise similarity and partitioned using the Leiden algorithm. We show that graph clustering substantially outperforms centre-based approaches (K-means, GMM, BIRCH) in both word- and syllable-level lexicon discovery across three languages, producing more Zipf-like distributions. Another bottom-up approach, agglomerative clustering with average linkage, also performs well, although it is computationally less efficient and allows for less control over the resulting distribution. Our work calls into question the dominance of centre-based clustering for term discovery, and promotes graph clustering as an attractive alternative.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.10781v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Clustering, Speech Recognition

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.12468v1cs.SD공통 태그 Clustering, Speech Recognition

제2회 MLC-SLM 챌린지를 위한 Omnilingual-ASR 기반 Speech-LLM 시스템

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

제2회 MLCSLM 챌린지 Task 1에 대한 우리의 제출을 설명한다. DiariZen-Large-s80(WavLM-Large) 분할(segmentation), CAM++ 임베딩 기반 2화자 클러스터링, LoRA 적응 omniASR LLM 7B v2 인식기를 결합한 계단식 화자 분리(diarization)-후-인식 시스템이며, 테스트 시점에는 oracle 분할이나 화자 레이블을 사용하지 않는다. 공식 Development set(150개 대화, 21개 언어/억양 카테고리)에서 이 시스템은 macro tcpMER 29.27%를 달성했으며, 공식 기준선의 79.15%에 비해 낮다. Evaluation set에서는 50.23%를 기록했다. 또한 tcpMER에 실질적으로 영향을 미치는 두 가지 엔지니어링 선택을 분석한다. 첫째, 임베딩 기반 화자 클러스터링은 ASR <sc> 턴 마커만으로 화자를 할당하는 end-to-end 스타일 대안보다 우수하다. 둘째, 화자 분리 재현율을 높이려는 의도로 도입된 overlap-aware 분할은 겹치는 발화가 두 번 전사되기 때문에 tcpMER를 증가시킨다.

arXiv:2607.05469v1cs.LG공통 태그 Clustering, Graph Clustering

구조적 고립 극복: 커뮤니티 인식 샘플링과 구조적 엔트로피를 통한 확장 가능한 그래프 클러스터링

Breaking Structural Isolation: Scalable Graph Clustering via Community-Aware Sampling and Structural Entropy

비지도 그래프 클러스터링은 대규모 네트워크에서 내재된 의미적 패턴을 발견하기 위한 핵심 기법이다. 그래프 대조 학습(Graph Contrastive Learning)이 유망한 성능을 보여주었음에도 불구하고, 기존 방법들은 미니배치 학습 과정에서 흔히 "구조적 고립(structural isolation)" 문제를 겪으며, 이로 인해 전역 위상 분포를 특징짓는 응집력 있는 커뮤니티 구조를 포착하기 어렵다. 이러한 문제를 해결하기 위해, 우리는 커뮤니티 인식 샘플링과 제약된 구조적 엔트로피(Structural Entropy)를 결합하여 구조적 무결성을 보존하는 확장 가능한 비지도 그래프 클러스터링 프레임워크인 SCISE를 제안한다. 구체적으로, 먼저 구조적 엔트로피 커뮤니티 제약 연산자(SECC)를 도입하여 제약된 해 공간 내에서 구조 정보를 최적화함으로써 커뮤니티 단편화를 완화하고 파티션 응집도를 향상시킨다. 다음으로, 배치 학습 중 전역 정보 손실을 방지하기 위해, 대상 노드의 커뮤니티 컨텍스트를 샘플링 배치에 통합하는 커뮤니티 인식 샘플링 확장(CSampE) 메커니즘을 설계하여 구조적 장벽을 효과적으로 극복하고 위상적 무결성을 보존한다. 마지막으로, 배치 내 구조적 유사도에 기반하여 에지 가중치를 정제하는 구조적 대조 학습(StructCL) 모듈을 고안하여 인코더가 고차 구조 공간에서 표현을 학습하도록 유도한다. 6개의 주류 벤치마크 데이터셋에 대한 광범위한 실험을 통해 SCISE가 최신 알고리즘들을 크게 능가함을 입증하며, 소거 연구(ablation studies)와 강건성 분석을 통해 실세계 대규모 그래프에서의 효과성과 신뢰성을 추가로 검증한다.

arXiv:2607.04064v1cs.CL공통 태그 Clustering, Speech Recognition

음절 토큰화를 위한 화자 분리 청크 단위 회귀

Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization

비지도 음절 토큰화는 원시 음성에서 잠재적 언어 내용 관련 구조를 포착하는 이산 음절 토큰을 학습하는 것을 목표로 한다. 최근의 음절 토큰화 방법들은 사전학습된 HuBERT의 교사-학생 지식 증류를 활용하여 잠재 음성 프레임 표현을 음절 세그먼트로 구성한다. 그러나 발화 수준의 교차 엔트로피 목적 함수로 학습할 경우, 모델이 언어 내용 대신 화자 정체성을 예측하게 되어 음절 토큰의 순도가 저하된다. 이 문제를 해결하기 위해, 우리는 고정 길이 청크 내에서 화자 섭동이 적용된 학생 표현을 깨끗한 교사 타깃으로 회귀시키는 화자 분리 음절 토크나이저를 제안한다. 실험 결과, 제안된 방법이 음절 경계 검출 및 음절 세그먼트 클러스터링에서 최첨단 성능을 달성함을 보인다. 또한 우리의 음절 토큰으로 학습된 음성 언어 모델은 음소 수준의 SpiRit-LM 대비 통사적 및 의미적 이해에서 7%의 상대적 성능 향상을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.