임베딩 공간에서의 문서 및 섹션 계층 모델링
Modeling Document and Section Hierarchies in Embedding Space
한국어 초록
임베디드 토픽 모델은 단어 임베딩을 토픽 생성 과정에 통합하여 일관된 토픽과 대규모 어휘에서의 강건한 성능을 만들어 낸다. 그러나 각 문서가 단일 토픽 분포로 표현되어 문서의 내부 구조가 무시된다. 법률 문서, 기업 및 정부 보고서, 온라인 토론 포럼을 비롯한 많은 실제 컬렉션은 문서가 서로 다른 하위 주제를 다루는 여러 섹션으로 구성되는 계층적 조직을 보인다. 본 논문은 임베딩 공간의 계층적 사전분포를 통해 문서의 토픽 분포와 그 섹션들의 토픽 분포를 결합하는 구조적 토픽 모델인 계층적 임베디드 토픽 모델(hETM)을 제안한다. hETM에 대한 상각 변분 추론 절차를 유도하고, 이러한 각 영역의 구조화된 컬렉션에서 평가한다. 실험 결과 hETM은 평면 및 계층적 토픽 모델 기준선 가운데 가장 낮거나 이에 근접한 보류 퍼플렉시티를 달성했으며, 토픽 품질도 동등하거나 더 높았다. 또한 하위 군집화 과제에서도 강한 성능을 보여 대부분의 컬렉션에서 최고의 군집화 성능을 달성했다.
원문 초록
Embedded topic models integrate word embeddings into the topic generation process, producing coherent topics and robust performance on large vocabularies. However, each document is represented by a single topic distribution, ignoring its internal structure. Many real world collections, including legal documents, company and government reports, and online discussion forums, exhibit hierarchical organization in which documents consist of multiple sections that often address distinct subtopics. We introduce the Hierarchical Embedded Topic Model (hETM), a structured topic model that couples the topic distribution of a document and those of its sections through a hierarchical prior in the embedding space. We derive an amortized variational inference procedure for hETM and evaluate it on structured collections from each of these domains. Experimental results show that hETM achieves the lowest or near-lowest held-out perplexity among flat and hierarchical topic model baselines, along with comparable or higher topic quality. It also performs strongly on a downstream clustering task, achieving the best clustering performance on most of the collections.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21980v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.