arXiv:2609.29630v1 cs.LG

순위 기반 프로토타입을 통한 다양체 인식 토픽 모델링 접근법

A Manifold-Aware Topic Modeling Approach via Rank-Based Prototypes

Thiago César Castilho Almeida, Daniel Carlos Guimarães Pedronette

제출 2026-08-29

저자 비고

arXiv Comments

Accepted at the Main Conference of 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026)

한국어 초록

최근의 토픽 모델들은 사전학습(pre-training)된 임베딩(embedding)을 활용하지만, 신경망 아키텍처는 특정 텍스트에 기반한 그라운딩(grounding) 없이 잠재 표현을 생성하며, 클러스터링 기반 파이프라인은 고차원 공간에서 허브니스(hubness)와 이방성(anisotropy)으로 왜곡되는 절대적 거리에 의존하여 사후적으로만 대표 문서를 할당합니다. 본 논문에서는 토픽 발견을 순위 기반 프로토타입(prototype) 선택 문제로 재구성하는 학습(training) 불필요(training-free) 프레임워크인 MARETopic을 소개합니다. 임베딩을 저차원 다양체(manifold)에 투영한 후, MARETopic은 순서형 이웃 구조를 인코딩하는 순위 목록을 구성합니다. 그리디(greedy) 알고리즘은 이웃 구조가 말뭉치(corpus) 전체를 포괄하는 실제 말뭉치 텍스트인 정확히 K개의 모범(exemplar) 문서를 선택합니다. 두 가지 변형 모델이 이 기준을 공유합니다. MARETopic$_\text{Corr}$은 질의 성능 예측기(query performance predictor)와 순위 상관 척도로 후보들을 평가하며, 카테고리가 가장 많은 두 벤치마크(benchmark)에서 신경망 및 클러스터링 기반 토픽 모델을 앞서며 Purity와 NMI 1위를 기록했습니다. MARETopic$_\text{Diff}$는 순위 기반 확산 행렬(diffusion matrix)로 후보를 평가하여 두 척도가 모두 필요하지 않으며, 1.7배에서 1.9배 더 빠르게 실행됩니다. 단 한 번의 그래디언트 업데이트도 없이, MARETopic은 세 데이터셋(dataset) 중 두 곳에서 토픽 일관성(topic coherence) 1위를 달성했습니다. 새로운 토픽 간 최대 한계 관련성(MMR) 단계는 일관성 손실을 최소화하면서 어휘 다양성을 향상시킵니다. 코드는 https://github.com/thcastilho/maretopic 에서 확인할 수 있습니다.

원문 초록

Recent topic models leverage pretrained embeddings, but neural architectures produce latent representations without grounding in specific texts, and clustering-based pipelines assign representative documents only post hoc, relying on absolute distances distorted by hubness and anisotropy in high-dimensional spaces. We introduce MARETopic, a training-free framework that casts topic discovery as rank-based prototype selection. After projecting embeddings onto a low-dimensional manifold, MARETopic builds ranked lists encoding ordinal neighborhood structure. A greedy algorithm selects exactly K exemplar documents, real corpus texts, whose neighborhoods cover the corpus. Two variants share this criterion. MARETopic$_\text{Corr}$ scores candidates with a query performance predictor and a rank correlation measure, leading Purity and NMI on the two benchmarks with the most categories, ahead of both neural and clustering-based topic models. MARETopic$_\text{Diff}$ scores them with a rank-based diffusion matrix, needs neither measure, and runs 1.7 to 1.9 times faster. Without a single gradient update, MARETopic leads topic coherence on two of three datasets. A novel inter-topic Maximal Marginal Relevance step raises vocabulary diversity at little cost in coherence. Our code is available at https://github.com/thcastilho/maretopic.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.29630v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.