arXiv:2011.14496

Blind signal decomposition of various word embeddings based on join and individual variance explained

Yikai Wang, Weijian Li

제출 2020-11-30

원문 초록

In recent years, natural language processing (NLP) has become one of the most important areas with various applications in human's life. As the most fundamental task, the field of word embedding still requires more attention and research. Currently, existing works about word embedding are focusing on proposing novel embedding algorithms and dimension reduction techniques on well-trained word embeddings. In this paper, we propose to use a novel joint signal separation method - JIVE to jointly decompose various trained word embeddings into joint and individual components. Through this decomposition framework, we can easily investigate the similarity and difference among different word embeddings. We conducted extensive empirical study on word2vec, FastText and GLoVE trained on different corpus and with different dimensions. We compared the performance of different decomposed components based on sentiment analysis on Twitter and Stanford sentiment treebank. We found that by mapping different word embeddings into the joint component, sentiment performance can be greatly improved for the original word embeddings with lower performance. Moreover, we found that by concatenating different components together, the same model can achieve better performance. These findings provide great insights into the word embeddings and our work offer a new of generating word embeddings by fusing.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27074v1cs.CY공통 태그 Dimensionality Reduction, Word Embeddings

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2607.20556v2cs.AI공통 태그 Dimensionality Reduction, Word Embeddings

KeySI: 인간 피드백 기반 텍스트 임베딩 튜닝을 위한 상호작용 프레임워크

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

대규모 텍스트 분석 작업에서는 하류 분석을 위해 텍스트 코퍼스를 임베딩하는 데 사전학습된 언어 모델이 자주 사용된다. 그러나 이러한 모델은 도메인 특화 의미를 포착하는 데 어려움을 겪을 수 있으며, 이를 적응시키려면 일반적으로 대량의 라벨 데이터와 학습 파이프라인 구현에 필요한 기술적 전문성이 요구된다. 최근 접근법들은 문서 투영에서의 시각적 상호작용이 모델 튜닝을 위한 학습 신호로 인간 피드백을 포착할 수 있음을 보여주었다. 그러나 이러한 방법들은 문서 수준 피드백을 기반으로 동작하며, 효과적인 피드백을 제공하려면 사용자가 개별 문서를 열어 평가해야 한다. 본 논문에서는 키워드 기반 개념 명세를 통해 특징 수준 피드백을 가능하게 하는 상호작용 프레임워크 KeySI를 제안한다. 사용자는 추출된 키워드를 개념을 나타내는 그룹으로 구성하여 피드백을 지정하며, KeySI는 이를 후속 튜닝을 위한 문서 수준 지도 신호로 변환한다. 키워드를 주요 상호작용 매체로 사용함으로써 KeySI는 수동 문서 검토 및 라벨링의 필요성을 줄이고 임베딩 모델 적응의 진입 장벽을 낮춘다. 우리는 코퍼스가 주어졌을 때 대표 키워드를 선별하고, 차원 축소를 통해 키워드와 문서 임베딩을 시각화하며, 키워드 그룹의 대화형 명세를 허용하고, 시스템 피드백을 통한 반복적 정제를 지원하는 프로토타입 구현을 제시한다. 사용자 연구, 사용 시나리오, 정량 실험을 통해 KeySI를 평가하며, 사용자 의도 포착 및 임베딩 정렬 개선에서의 효과를 입증한다.

arXiv:2607.05679v1cs.CL공통 태그 Sentiment Analysis, Word Embeddings

RPAM: 다운스트림 출력에서 높은 예측 타당도를 가진 언어 모델 연관성 평가를 위한 원칙적 지표

RPAM: A Principled Metric for Evaluating Associations in Language Models with High Predictive Validity in Downstream Outputs

언어 모델(LM)은 고정관념과 같은 문제적 편향을 나타낸다. 이러한 편향을 효과적으로 분석하고 완화하려면 기저 연관성에 대한 정확하고 범용적인 평가 방법이 필요하다. 일부 기존 접근 방식은 생성된 텍스트의 연관성을 분석하는 다운스트림 지표에 초점을 맞춘다. 생성된 텍스트 내용은 LM마다 크게 달라질 수 있기 때문에, 이러한 지표들은 종종 특화된 평가 데이터셋을 필요로 하며, 이는 다운스트림 지표의 일반화를 제한한다. 이와 대조적으로, 업스트림 지표는 임베딩(embedding)이나 연속 확률이라는 근본적인 수준에서 LM을 검토함으로써 LM 전반에 걸쳐 원칙적인 연관성 분석을 가능하게 한다. 그러나 현재까지 생성형 LM을 위한 어떠한 업스트림 지표도 생성된 텍스트에서 측정된 연관성을 포함한 실제 연관성과의 강한 관계를 밝혀내지 못했다. 이러한 간극을 해소하기 위해, 우리는 생성형 LM을 위한 연관성 평가 지표인 상대 확률 연관성 지표(RPAM, Relative Probability Association Metric)를 제안한다. 언어 생성 품질과 목적이 서로 다른 세 가지 LM(Mistral-7B-Instruct, Mistral-7B, GPT-2)과 널리 연구된 평가 데이터셋(WEAT-WS, Bellezza, WS-353, SST2)에 대해, 우리는 업스트림 RPAM 측정값과 인간에게서 관찰된 암묵적·명시적 연관성 및 LM별 태스크로 다운스트림에서 측정된 편향 사이에서 강한 관계를 발견하였으며, 해당하는 경우 기존 최고 기록값을 능가하였다.

arXiv:2606.29068v1cs.CL공통 태그 Sentiment Analysis, Word Embeddings

심리적 감정 이론 전반에 걸친 텍스트 임베딩의 감정 단서 비교 연구

A Comparative Study on Affective Cues in Text Embeddings Across Psychological Emotion Theories

텍스트 인코더는 입력을 밀집 벡터로 효율적으로 압축하면서 의미를 보존하는 능력 덕분에 자연어 처리(NLP)에서 널리 활용되고 있다. 이러한 모델들은 감성 컴퓨팅(affective computing)에도 적용되어 감성 분석(sentiment analysis) 및 감정 인식 과제 해결에 기여해 왔다. 그러나 현대 텍스트 인코더가 생성하는 잠재 표현이 심리학적으로 잘 정의된 감정 이론을 어느 정도까지 포착하는지는 여전히 불분명하다. 본 연구에서는 최근 공개된 12개의 텍스트 인코더의 감정 표현 능력을 조사하기 위해, 이들이 생성한 임베딩을 입력 특징으로 사용하여 단어 수준 및 문장 수준 데이터를 대상으로 세 가지 확립된 감정 프레임워크에 걸쳐 회귀 및 분류(classification) 과제를 수행하였다. 또한 단어 수준 평가의 강건성을 높이기 위해 의미론적 데이터 누출 방지 기법을 적용하였다. 주요 연구 결과에 따르면, 최신 인스트럭션 인식 오픈 가중치(open-weight) 인코더의 잠재 다양체는 단어 수준 평가에서 독점 모델과 동등하거나 오히려 더 많은 양의 감정 정보를 포함하는 것으로 나타났다. 반면, 과제 튜닝 및 독점 인코더의 임베딩은 문장 수준 감정 분류에서 가장 높은 점수를 기록하였다. 더불어 잠재 표현과 그에 인코딩된 감정 단서에 대한 정성적 분석도 제공한다.

arXiv:2606.26373v1cs.CR공통 태그 Dimensionality Reduction, Word Embeddings

하이브리드 프라이버시 인식 의미 검색: 제한된 위협 모델 하에서 SVD 절단 문서 기하학과 CKKS 암호화 쿼리 재순위화

Hybrid privacy-aware semantic search: SVD-truncated document geometry and CKKS-encrypted query reranking under a restricted threat model

밀집 임베딩은 의미 검색과 검색-증강 생성(RAG)을 구동하지만, 임베딩 역산(embedding-inversion) 공격은 벡터로부터 원본 텍스트를 복원할 수 있다. 벡터 데이터베이스가 유출되면 그 뒤의 문서도 함께 유출된다. 교과서적인 방어책은 극단적이다. 전체 검색을 동형 암호(homomorphic encryption)로 암호화하는 것은 건전하지만 백만 문서 규모에서는 너무 느리고, 프라이버시 노이즈는 보호하기 전에 순위화를 훨씬 먼저 저하시킨다. 우리는 정적 컬렉션과 동적 쿼리 사이의 비대칭을 이용하는 중간 경로를 연구한다. 컬렉션은 기하학적으로 보호된다. 각 벡터는 저차원 SVD 부분공간으로 절단(truncate)되고 소유자만 아는 비밀 직교 변환으로 회전된다. 쿼리는 암호학적으로 보호된다. CKKS 동형 암호화 하에서 재순위화(rerank)되므로, honest-but-curious 서버는 쿼리나 점수를 볼 수 없다. CKKS 매개변수는 소규모 오프라인 벤치마크에서 도출된다. 우리는 보호된 부분공간에 갇힌 모든 공격자의 재구성 오류에 대한 tight 하한(lower bound)을 증명한다. 백만 문서와 다섯 개의 인코더에서 이 방식은 순위화 품질을 유지하며(강력한 인코더에서는 선형 디노이저로서 약간 개선), 1초 미만 지연을 달성한다. 보호된 공간에 대한 기성 inversion 공격은 노이즈 바닥(noise floor)으로 붕괴한다. 그다음 더 강한 적대자를 테스트한다. known-plaintext 공격자는 보존된 차원만큼의 유출된 쌍으로부터 직교 Procrustes를 통해 회전을 복구한다. 공개 product 양자화(product-quantization) 코드는 대부분의 최근접 이웃 구조를 보존한다. random-projection, calibrated-noise, BEIR 베이스라인은 절단이 무료 디노이저가 아니라 인코더 의존적 정확도 비용임을 보여준다. 한계를 명시한다. 쿼리 기밀성은 암호학적이지만, 문서 보호는(SVD 절단과 비밀 회전) 암호학적 원시 연산이 아닌 경험적 난독화 층이며, 각 주장에 대해 위협 모델을 한정한다.

arXiv:2606.25268v1stat.AP공통 태그 Dimensionality Reduction, Sentiment Analysis

구조적 응답을 위한 해석 가능한 텍스트 신호 학습

Learning Interpretable Text Signals for Structured Responses

텍스트 데이터는 구조적 응답 변수와 함께 수집되는 경우가 많지만, 예측과 해석은 일반적으로 별개의 과제로 다뤄진다. 본 논문은 해석 가능한 텍스트-응답 모델링의 초기 사례로서 평점 예측을 연구하며, 목표는 의미론적으로 유의미하면서 외부 응답과 정렬된 텍스트 표현을 학습하는 것이다. 본 논문에서는 비음수 행렬 분해(non-negative matrix factorisation)와 이항 회귀(binomial regression)를 결합한 모델을 제안하며, 이 모델에서 문서-토픽 표현은 텍스트 재구성과 평점 예측 모두로부터 학습된다. 시뮬레이션 실험과 실제 리뷰 데이터셋을 통해, 모델이 안정적인 응답 관련 텍스트 신호를 복원할 수 있으며 선형 회귀 및 릿지 회귀 기준 모델 대비 경쟁력 있는 성능을 달성함을 보인다. 본 프레임워크는 텍스트와 연결된 결과의 해석 가능한 모델링을 향한 실용적인 진전을 제공하며, 유계 평점(bounded ratings)을 넘어 다른 응답 유형으로의 잠재적 확장 가능성도 지닌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.