Amharic Text Clustering Using Encyclopedic Knowledge with Neural Word Embedding
원문 초록
In this digital era, almost in every discipline people are using automated systems that generate information represented in document format in different natural languages. As a result, there is a growing interest towards better solutions for finding, organizing and analyzing these documents. In this paper, we propose a system that clusters Amharic text documents using Encyclopedic Knowledge (EK) with neural word embedding. EK enables the representation of related concepts and neural word embedding allows us to handle the contexts of the relatedness. During the clustering process, all the text documents pass through preprocessing stages. Enriched text document features are extracted from each document by mapping with EK and word embedding model. TF-IDF weighted vector of enriched feature was generated. Finally, text documents are clustered using popular spherical K-means algorithm. The proposed system is tested with Amharic text corpus and Amharic Wikipedia data. Test results show that the use of EK with word embedding for document clustering improves the average accuracy over the use of only EK. Furthermore, changing the size of the class has a significant effect on accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TextClusterLab: 신뢰할 수 있는 텍스트 클러스터링 연구를 위한 통합 프레임워크
TextClusterLab: An Integrated Framework for Reliable Text Clustering Studies
최근 텍스트 클러스터링은 의도 탐색, 토픽 마이닝, 추천 시스템 등 다양한 응용 분야에서 핵심 기법으로 자리잡고 있다. 그러나 많은 실제 텍스트 데이터셋은 모호한 의미 경계, 임베딩의 고차원성, 일관성 없는 클러스터 구조로 인해 클러스터링 평가에 적합하지 않아, 텍스트 클러스터링 알고리즘의 평가는 여전히 어려운 과제로 남아 있다. 현재의 클러스터링 데이터셋 생성기는 수치형 데이터를 위해 설계되어 텍스트 특화 벤치마킹 지원이 제한적이다. 본 논문은 텍스트 클러스터링 연구를 위한 종합 프레임워크인 TextClusterLab을 소개한다. TextClusterLab은 대규모 언어 모델(LLM) 기반 텍스트 클러스터링 데이터셋 생성기를 제공하여 클러스터링 알고리즘 평가를 위한 합성 텍스트 데이터셋을 생성한다. 이 생성기는 클래스 불균형, 클러스터 내 응집도, 클러스터 간 다양성 등 다양한 클러스터링 속성 설정을 지원한다. 생성된 데이터셋은 다양한 시나리오에서 텍스트 클러스터링 알고리즘의 견고성과 범용성을 검증하는 실용적인 벤치마크로 활용될 수 있다. 또한, 텍스트 데이터셋이 클러스터링 평가에 적합한지 검증하기 위한 벤치마크를 함께 제안한다. TextClusterLab은 재현 가능하고 포괄적인 텍스트 특화 클러스터링 연구를 위한 통합 프레임워크를 제공한다. TextClusterLab은 https://github.com/research-paper-code/TextClusterLab에 공개되어 있으며, 다양한 속성을 가진 합성 예시 데이터셋은 https://huggingface.co/datasets/DW-irlab/TextClusterLab에서 확인할 수 있다.
A Dirichlet Multinomial Mixture Model-based Approach for Short Text Clustering
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.
AI가 분류할 때: 공공행정이란 무엇인가?
When AI Classifies: What Counts as Public Administration?
본 연구는 학술 표현의 대안적 체계들이 행정학(PA)과 인공지능 관련 행정학(AI-in-PA) 학술 연구를 어떻게 식별하고 특징짓는지를 고찰한다. 핵심 질문은 어떤 체계가 행정학에 대한 확정적 분류를 제공하는가가 아니라, 학술 분류의 대안적 체계들이 행정학의 지적 경계를 식별하고 표현하는 방식에서 어떻게 다른가이다. 본 연구는 Web of Science와 OpenAlex에 대한 탐색적·비교 분석을 통해 저자 정의 방식, 인용 기반 방식, AI 지원 방식의 표현에 기초한 다섯 가지 접근법을 비교한다. 분석 결과는 말뭉치 규모, 출판 유형, DOI 이용 가능성, 출판 매체, 시간적 양상, 주제 구조에서 상당한 차이와 제한적인 중복이 있음을 보여 준다. 대안적 접근법들은 동일한 문헌의 더 크거나 더 작은 부분집합을 식별하는 데 그치지 않고 실질적으로 서로 다른 학술 집합을 식별하기 때문에 서로 구별되는 표현을 만들어 내는 경향이 있다. 연구 결과는 알고리즘에 의한 지식 조직화가 학제 간 학술 연구가 분류되고 연결되고 이해되는 방식에, 그리고 인식론적으로는 그 가시성, 구조, 지적 정체성이 표현되는 방식에 영향을 미침을 시사한다. AI 기반 학술 분류는 중립적이지 않고 해석적이며 잠재적으로 자기강화적이어서 학문 분야 경계의 진화와 적응을 제약할 수 있다. 따라서 인간 전문가의 판단은 여전히 필수적이며, AI 지원 학술 분류에 의해 대체되기보다는 보완된다.
건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링
Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.