PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.10781v3eess.AS

비지도 용어 발견에서 지프 분포(Zipfian Distribution) 복원하기

Recovering the Zipfian Distribution in Unsupervised Term Discovery

비지도 용어 발견(unsupervised term discovery)은 레이블이 없는 음성을 단어 또는 음절 단위의 유닛으로 분할하고, 이를 군집화하여 후보 타입들의 어휘집(lexicon)을 구성하는 작업이다. 실제 어휘집은 지프 분포(Zipfian distribution)를 따르지만, 지배적인 중심 기반 군집화 방식인 K-means는 구형 군집을 선호하는 귀납적 바이어스(inductive bias) 때문에 더 균일한 분포를 만들어 낸다. 본 논문에서는 상향식(bottom-up) 대안으로서 그래프 기반 군집화를 다시 살펴본다. 이 방식에서는 세그먼트 임베딩을 쌍별 유사도로 연결하고, Leiden 알고리즘으로 분할한다. 우리는 그래프 군집화가 세 개 언어에 걸친 단어 및 음절 수준의 어휘집 발견 모두에서 중심 기반 방식(K-means, GMM, BIRCH)을 크게 능가하며, 더 지프 분포에 가까운 분포를 만들어 냄을 보인다. 또 다른 상향식 방식인 평균 연결(average linkage) 기반 병합 군집화 역시 좋은 성능을 보이지만, 계산 효율이 더 낮고 결과 분포에 대한 제어가 더 제한적이다. 본 연구는 용어 발견에서 중심 기반 군집화가 지배적이라는 통념에 의문을 제기하며, 그래프 군집화를 매력적인 대안으로 제안한다.