arXiv:2205.06802

Word Embeddings and Validity Indexes in Fuzzy Clustering

Danial Toufani-Movaghar, Mohammad-Reza Feizi-Derakhshi

제출 2022-04-26

원문 초록

In the new era of internet systems and applications, a concept of detecting distinguished topics from huge amounts of text has gained a lot of attention. These methods use representation of text in a numerical format -- called embeddings -- to imitate human-based semantic similarity between words. In this study, we perform a fuzzy-based analysis of various vector representations of words, i.e., word embeddings. Also we introduce new methods of fuzzy clustering based on hybrid implementation of fuzzy clustering methods with an evolutionary algorithm named Forest Optimization. We use two popular fuzzy clustering algorithms on count-based word embeddings, with different methods and dimensionality. Words about covid from Kaggle dataset gathered and calculated into vectors and clustered. The results indicate that fuzzy clustering algorithms are very sensitive to high-dimensional data, and parameter tuning can dramatically change their performance. We evaluate results of experiments with various clustering validity indexes to compare different algorithm variation with different embeddings accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04581v1cs.CL공통 태그 Clustering, Word Embeddings, Semantic Textual Similarity, Semantic Similarity

MTEB-PT: 브라질 포르투갈어 텍스트 임베딩 벤치마크

MTEB-PT: A Text Embedding Benchmark for Brazilian Portuguese

포르투갈어 텍스트 임베딩에는 전용 벤치마크가 존재하지 않는다. 현재 평가는 영어 MS MARCO를 번역한 코퍼스나 단편적인 다국어 커버리지에 의존하며, 자국어 태스크는 분산되어 있고 통합되지 않은 상태다. 우리는 MTEB-PT를 소개한다. 이는 7개 카테고리(분류, 다중 레이블 분류, 쌍 분류, 의미적 텍스트 유사도, 클러스터링, 검색, 리랭킹)에 걸쳐 22개의 브라질 포르투갈어 네이티브 태스크로 구성된 벤치마크로, 포르투갈어로 작성되거나 수집된 데이터만을 허용하며 번역 데이터는 설계상 제외된다. 우리는 2,300만에서 270억 파라미터 규모의 93개 모델을 평가했다: 오픈 가중치 모델 73개와 상용 폐쇄형 API 20개. 리더보드와 함께 모든 주요 비교에 대한 통계적 분석 층을 제공한다: 태스크별 부트스트랩 신뢰구간, 쌍별 부트스트랩 유의성 검정, 문항반응이론(Item Response Theory)을 응용한 태스크·인스턴스 수준의 판별력 분석(각 태스크가 모델을 얼마나 명확하게 구분하는지), 그리고 리더보드 간 상관관계 분석. 세 가지 주요 발견이 눈에 띈다. 벤치마크는 약 12개 수준의 모델 티어를 명확히 구분하지만, 상위 6개 모델은 통계적으로 순위를 정하기 어려울 만큼 근접해 있다. 공개 라이선스를 가진 자체 호스팅 가능한 모델이 최상위 티어에 도달함으로써, 우수한 포르투갈어 임베딩 품질을 위해 상용 API가 필수적이지 않음을 보여준다. 또한 전 세계 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 수준으로만 예측한다(공유 모델 55개에 대한 스피어만 상관계수 rho = 0.75; 한 모델은 다국어 리더보드에서 3위이지만 본 벤치마크에서는 49위), 따라서 네이티브 벤치마크는 다국어 리더보드가 측정하지 못하는 것을 측정한다. 우리는 모든 태스크, 코드, 그리고 공개 리더보드를 공개하여 실무자들이 네이티브 근거를 바탕으로 포르투갈어 임베딩 모델을 선택할 수 있도록 한다.

arXiv:2609.27074v1cs.CY공통 태그 Clustering, Word Embeddings, Semantic Similarity

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2607.20556v2cs.AI공통 태그 Clustering, Word Embeddings, Semantic Similarity

KeySI: 인간 피드백 기반 텍스트 임베딩 튜닝을 위한 상호작용 프레임워크

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

대규모 텍스트 분석 작업에서는 하류 분석을 위해 텍스트 코퍼스를 임베딩하는 데 사전학습된 언어 모델이 자주 사용된다. 그러나 이러한 모델은 도메인 특화 의미를 포착하는 데 어려움을 겪을 수 있으며, 이를 적응시키려면 일반적으로 대량의 라벨 데이터와 학습 파이프라인 구현에 필요한 기술적 전문성이 요구된다. 최근 접근법들은 문서 투영에서의 시각적 상호작용이 모델 튜닝을 위한 학습 신호로 인간 피드백을 포착할 수 있음을 보여주었다. 그러나 이러한 방법들은 문서 수준 피드백을 기반으로 동작하며, 효과적인 피드백을 제공하려면 사용자가 개별 문서를 열어 평가해야 한다. 본 논문에서는 키워드 기반 개념 명세를 통해 특징 수준 피드백을 가능하게 하는 상호작용 프레임워크 KeySI를 제안한다. 사용자는 추출된 키워드를 개념을 나타내는 그룹으로 구성하여 피드백을 지정하며, KeySI는 이를 후속 튜닝을 위한 문서 수준 지도 신호로 변환한다. 키워드를 주요 상호작용 매체로 사용함으로써 KeySI는 수동 문서 검토 및 라벨링의 필요성을 줄이고 임베딩 모델 적응의 진입 장벽을 낮춘다. 우리는 코퍼스가 주어졌을 때 대표 키워드를 선별하고, 차원 축소를 통해 키워드와 문서 임베딩을 시각화하며, 키워드 그룹의 대화형 명세를 허용하고, 시스템 피드백을 통한 반복적 정제를 지원하는 프로토타입 구현을 제시한다. 사용자 연구, 사용 시나리오, 정량 실험을 통해 KeySI를 평가하며, 사용자 의도 포착 및 임베딩 정렬 개선에서의 효과를 입증한다.

arXiv:2609.20821v2cs.CL공통 태그 Word Embeddings, Semantic Similarity

임베딩 모델의 특이한 측정 방식

Embedding Models Measure in Peculiar Ways

임베딩 공간은 의미적 유사도와 거리의 개념을 정의합니다. 본 연구에서는 고유하고 객관적인 의미적 동등성과 거리 개념을 인정하는 질량, 거리, 시간, 부피와 같은 물리적 측정이 이러한 임베딩에 반영되는지 살펴봅니다. 연구 결과, 임베딩 공간에서 물리적 측정은 약하게만 모델링되며, 대신 상당히 특이한 측정 패턴이 관찰되는 것으로 나타났습니다. 추가 분석에 따르면 물리적 측정에 대한 임베딩 표현은 표면적인 문자열 유사도에 큰 영향을 받으며, 유사도를 재보정하더라도 정렬(alignment)이 실질적으로 개선되지 않는 것으로 나타났습니다.

arXiv:2609.28290v1cs.CL공통 태그 Semantic Textual Similarity, Semantic Similarity

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2607.14117v2cs.CL공통 태그 Semantic Textual Similarity, Semantic Similarity

레이아웃 인지 정렬과 구조 인지 추론을 통한 이질적 요소 인지 과학 문서 교차 버전 차이 분석

Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning

과학 문서의 교차 버전 차이 분석은 학술 출판 및 기술 문서화에서 필수적이지만, 과학 문서가 텍스트, 표, 수식, 그림, 레이아웃 단서와 같은 이질적 요소를 포함하는 페이지 구조 산출물이기 때문에 여전히 어려운 과제로 남아 있다. 기존의 텍스트 시퀀스 기반 방법은 종종 레이아웃 및 구조 정보를 잃는 반면, 이미지 기반 방법은 의미적 해석 가능성이 부족하고 렌더링 변화에 민감하다. 이러한 한계를 해결하기 위해, 본 논문은 과학 문서 차이 분석을 위한 레이아웃 인지 이질적 요소 인지 프레임워크를 제안한다. 이 프레임워크는 문서 버전을 의미적으로 유형화된 요소로 분해하고, 공간적·내용적·구조적 호환성을 공동으로 모델링하는 정렬 우선(alignment-first) 메커니즘을 통해 교차 버전 대응 관계를 수립하며, 정렬된 요소 쌍에 대해 유형 인지(type-aware) 차이 추론을 수행한다. 이는 텍스트, 표, 수식, 그림에 걸쳐 통합된 변경 탐지, 위치 특정(localization), 구조 인지(structure-awareness) 분석, 정렬/매칭 평가를 지원한다. 학술지 제작 교정(proofreading) 워크플로우에서 수집한 실제 과학 PDF 데이터에 대한 실험 결과, 제안된 프레임워크가 요소별 베이스라인을 일관되게 능가함을 보여준다. 텍스트, 표, 수식, 그림에 대해 각각 탐지 F1 점수 0.903, 0.855, 0.862, 0.845를 달성했으며, 위치 특정, 구조 인지, 매칭 품질에서도 추가적인 향상을 보였다. 소거(ablation) 및 민감도 분석은 교차 버전 정렬, 유형별 표현, 구조 인지 추론, 호환성 가중치 설계의 효과를 확인한다. 이러한 결과는 이질적 요소 인지 차이 분석이 실제 편집 제작 시나리오에서 과학 문서 비교를 위한 견고하고 해석 가능한 솔루션을 제공함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.