arXiv:1807.10800

Clustering Prominent People and Organizations in Topic-Specific Text Corpora

Abdulkareem Alsudais, Hovig Tchalian

제출 2018-07-27

원문 초록

Named entities in text documents are the names of people, organization, location or other types of objects in the documents that exist in the real world. A persisting research challenge is to use computational techniques to identify such entities in text documents. Once identified, several text mining tools and algorithms can be utilized to leverage these discovered named entities and improve NLP applications. In this paper, a method that clusters prominent names of people and organizations based on their semantic similarity in a text corpus is proposed. The method relies on common named entity recognition techniques and on recent word embeddings models. The semantic similarity scores generated using the word embeddings models for the named entities are used to cluster similar entities of the people and organizations types. Two human judges evaluated ten variations of the method after it was run on a corpus that consists of 4,821 articles on a specific topic. The performance of the method was measured using three quantitative measures. The results of these three metrics demonstrate that the method is effective in clustering semantically similar named entities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27074v1cs.CY공통 태그 Clustering, Semantic Similarity

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2607.23886v3cond-mat.mtrl-sci공통 태그 Articles, Named Entity Recognition

배터리 문헌의 멀티모달 마이닝을 통한 X선 흡수 분광법 데이터 활용

Harnessing X-ray Absorption Spectroscopy Data through Multimodal Mining of Battery Literature

X선 흡수 분광법(XAS)은 재료의 국소 전자 및 원자 구조를 이해하는 데 핵심적이지만, 대부분의 발표된 스펙트럼은 문헌의 그림에 내장되어 있고 파편화된 텍스트 문맥을 통해 기술되어 있어 데이터 기반 분석에 접근할 수 없는 상태로 남아 있다. 여기서 우리는 멀티모달(이미지 및 텍스트) 문헌 마이닝을 사용하여 이 분산된 지식을 AI 활용 가능한 실험 데이터 자원으로 변환한다. 우리는 전문(full-text) 논문에서 XAS 그림을 식별하고, 스펙트럼 곡선을 디지털화하며, 각 스펙트럼을 측정된 edge 및 재료에 관한 수반 메타데이터와 연결하는 확장 가능한 분광 데이터 디지털화 파이프라인을 개발했다. 이 파이프라인을 배터리 문헌에 적용한 결과, 66개의 흡수 원소와 다양한 배터리 화학을 포괄하는 13,740개의 XAS 스펙트럼으로 구성된 공개 데이터셋이 생성되었으며, 전문가 검증을 통해 스펙트럼 및 메타데이터 정보의 정확한 추출이 확인되었다. 문헌에 내장된 스펙트럼을 구조화된 수치 데이터로 변환함으로써, 이 데이터셋은 대규모 XAS 분석, 교차 실험실 비교, 고처리량(high-throughput) 특성화, 및 첨단 재료의 자율적 발견을 위한 기반을 제공한다.

arXiv:2607.22919v1cs.CV공통 태그 Clustering, Semantic Similarity

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.20556v2cs.AI공통 태그 Clustering, Semantic Similarity

KeySI: 인간 피드백 기반 텍스트 임베딩 튜닝을 위한 상호작용 프레임워크

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

대규모 텍스트 분석 작업에서는 하류 분석을 위해 텍스트 코퍼스를 임베딩하는 데 사전학습된 언어 모델이 자주 사용된다. 그러나 이러한 모델은 도메인 특화 의미를 포착하는 데 어려움을 겪을 수 있으며, 이를 적응시키려면 일반적으로 대량의 라벨 데이터와 학습 파이프라인 구현에 필요한 기술적 전문성이 요구된다. 최근 접근법들은 문서 투영에서의 시각적 상호작용이 모델 튜닝을 위한 학습 신호로 인간 피드백을 포착할 수 있음을 보여주었다. 그러나 이러한 방법들은 문서 수준 피드백을 기반으로 동작하며, 효과적인 피드백을 제공하려면 사용자가 개별 문서를 열어 평가해야 한다. 본 논문에서는 키워드 기반 개념 명세를 통해 특징 수준 피드백을 가능하게 하는 상호작용 프레임워크 KeySI를 제안한다. 사용자는 추출된 키워드를 개념을 나타내는 그룹으로 구성하여 피드백을 지정하며, KeySI는 이를 후속 튜닝을 위한 문서 수준 지도 신호로 변환한다. 키워드를 주요 상호작용 매체로 사용함으로써 KeySI는 수동 문서 검토 및 라벨링의 필요성을 줄이고 임베딩 모델 적응의 진입 장벽을 낮춘다. 우리는 코퍼스가 주어졌을 때 대표 키워드를 선별하고, 차원 축소를 통해 키워드와 문서 임베딩을 시각화하며, 키워드 그룹의 대화형 명세를 허용하고, 시스템 피드백을 통한 반복적 정제를 지원하는 프로토타입 구현을 제시한다. 사용자 연구, 사용 시나리오, 정량 실험을 통해 KeySI를 평가하며, 사용자 의도 포착 및 임베딩 정렬 개선에서의 효과를 입증한다.

arXiv:2607.21614v1cs.AI공통 태그 Named Entity Recognition, Semantic Similarity

LLM 기반 개체 해소를 이용한 혼합 형식 점유 데이터에서의 가구 이동 탐지

Household Movement Detection in Mixed-Format Occupancy Data Using LLM-Based Entity Resolution

개체 해소(ER)는 일반적으로 레코드 간 쌍별 유사도 비교에 의존하며, 이는 인구통계 점유 데이터에 존재하는 간접적 관계를 포착하는 능력을 제한한다. 중요한 간접 패턴은 여러 개인이 주소를 넘어 함께 이주하는 가구 이동에서 발생하지만, 혼합 형식 레코드, 노이즈, 중복, 안정적인 식별자의 부재로 인해 이러한 패턴을 탐지하기는 어렵다. 본 논문은 비표준화된 이름-주소 데이터에서 가구 이동과 관련된 간접적 개체 링크를 탐지하기 위한 AI 강화 프레임워크를 제안한다. 이 접근법은 광범위한 전처리 없이 개인 이름과 주소를 추출하기 위한 프롬프트 기반 대규모 언어 모델(LLM) 개체명 인식, 견고한 유사도 계산을 위한 의미적 텍스트 임베딩, 그룹 수준 이동 패턴을 추론하기 위한 그래프 기반 추론을 통합한다. Synthetic Occupancy Generator를 사용해 생성된 SPX 벤치마크 데이터셋(S8-S12)에 대한 실험 평가는, 간접적 가구 이동 증거를 통합하면 높은 정밀도를 유지하면서 재현율이 8-15% 향상되며, 강력한 쌍별 기준선 대비 F1-score가 6-8% 개선됨을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.