arXiv:2209.10583

Representing Affect Information in Word Embeddings

Yuhan Zhang, Wenqi Chen, Ruihan Zhang, Xiajie Zhang

제출 2022-09-21

원문 초록

A growing body of research in natural language processing (NLP) and natural language understanding (NLU) is investigating human-like knowledge learned or encoded in the word embeddings from large language models. This is a step towards understanding what knowledge language models capture that resembles human understanding of language and communication. Here, we investigated whether and how the affect meaning of a word (i.e., valence, arousal, dominance) is encoded in word embeddings pre-trained in large neural networks. We used the human-labeled dataset as the ground truth and performed various correlational and classification tests on four types of word embeddings. The embeddings varied in being static or contextualized, and how much affect specific information was prioritized during the pre-training and fine-tuning phase. Our analyses show that word embedding from the vanilla BERT model did not saliently encode the affect information of English words. Only when the BERT model was fine-tuned on emotion-related tasks or contained extra contextualized information from emotion-rich contexts could the corresponding embedding encode more relevant affect information.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14100v1cs.CL공통 태그 Word Embeddings, Natural Language Understanding

아랍어를 위한 양자 조합 자연어 처리: 회로 토폴로지의 문법, 형태론, 단어 의미

Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology

우리는 pregroup grammar 기반 양자 조합 자연어 처리(quantum compositional natural language processing, QNLP)를 아랍어에 최초로 적용한다. 아랍어는 형태론적으로 풍부하고 자유 어순(free-word-order) 언어로, 그 구조적 복잡성이 양자 회로에서의 의미 조합 이론에 대한 독특하게 까다로운 시험대를 제공한다. 우리 시스템은 아랍어 문장을 문법적 구조를 반영하는 토폴로지의 양자 회로로 변환한다. 주어, 동사, 목적어는 양자 게이트가 되며, 이들 사이의 타입 의존성(pregroup grammar)이 해당 게이트들이 어떻게 연결되는지를 결정한다. 우리는 어순, 형태론적 시제, 동사 의미 모호성 해소를 아우르는 세 가지 통제 실험을 수행하고, AraVec(아랍어 단어 임베딩) 및 AraBERT(사전학습된 아랍어 트랜스포머)를 포함한 고전적 베이스라인과 양자 회로 방법을 비교한다.

arXiv:2606.21195v1cs.CL공통 태그 Word Embeddings, Natural Language Understanding

세계에 고정하는 것을 넘어: 참조 프로필과 LLM 그라운딩의 수치적 구조

Beyond Hooking Onto the World: Referential Profiles and the Numerical Structure of LLM Grounding

본 논문은 최근 벡터 그라운딩(vector grounding) 설명을 바탕으로 대규모 언어 모델(LLM)의 그라운딩 문제를 재검토한다. 나는 고전적 기호 그라운딩(symbol grounding)에서 벡터 그라운딩으로의 전환을 수용하지만, 현재 논쟁이 두 가지 측면에서 여전히 불완전하다고 주장한다. 첫째, 지시(reference)는 종종 지나치게 얇게 다루어지며, 고립된 표현과 대상 사이의 고정된 연결인 것처럼 취급된다. 대신 나는 지시가 프로필 기반(profile-based), 문맥 민감(context-sensitive), 담화 수준(discourse-level), 정서적으로 형성(affectively shaped), 규범에 의해 통제(norm-governed)된다고 주장한다. 인간의 경우에서도 지시는 동일한 사적 표상(private representations)이 아니라 사용, 수정, 구분, 추론(inference), 연속의 패턴을 통해 공공적으로 안정화된다. 둘째, 벡터 그라운딩은 수치적 실현(numerical realization)에 대한 설명을 필요로 한다. LLM은 인간의 지각, 기억, 의도, 체화(embodiment), 이해를 통해 지시를 획득하지 않는다. 오히려 최적화(optimization)를 통해 인간의 세계 지향적(world-directed) 실천의 언어적 흔적을 매개변수화(parameterize)한다. 유한한 벡터 시스템에서 참조 프로필(referential profiles)은 분산되어야 하고, 중첩(superposed)될 수 있으며, 문맥 민감적 계산을 통해 복원된다. 가중치, 활성화(activations), 어텐션(attention)이 매개하는 은닉 상태, 소프트맥스(softmax)로 학습된 대조, 내적(inner-product) 정렬(alignments)은 상속된 언어적 관계가 안정적이고 인과적으로 활성화되는 수학적 지점이다. 메커니즘적 해석가능성(mechanistic interpretability) 연구 결과—개체 유사(entity-like) 특징, 지식 뉴런(knowledge neurons), 정서 관련 활성화 방향 등—는 이 관점에 대한 간접적 지지를 제공한다. 이는 LLM이 인간의 지시를 갖추고 있음을 보여주지 않는다. 대신 더 제한된 논제를 뒷받침한다: LLM은 파생적(derivative), 언어 매개(language-mediated), 프로필 기반, 수치적으로 구조화된 형태의 지시를 가질 수 있다.

arXiv:2606.12332v1cs.CL공통 태그 Word Embeddings, Natural Language Understanding

정보 이득을 통한 다회차 대화에서의 의미적 진전 측정

Measuring Semantic Progress in Multi-turn Dialogue via Information Gain

다회차 대화(multi-turn dialogue)의 평가는 품질이 개별 응답 내가 아닌 턴(turn) 전반에 걸쳐 드러나기 때문에 어려운 과제입니다. 본 연구는 정보 탐색 대화의 핵심 차원인 의미적 진전(semantic progress)에 초점을 맞춥니다. 의미적 진전은 대화 과정에서 새롭고, 질문 관련성이 있으며, 중복되지 않는 정보의 축적으로 정의됩니다. 우리는 의미적 진전을 질문 조건부 불확실성 감소(question-conditioned uncertainty reduction)로 형식화하고, 임베딩(embedding) 공간에서 이를 근사하는 정보 이론적 지표를 소개합니다. 우리의 주요 추정기는 폐쇄형 업데이트(closed-form updates)를 갖는 다루기 용이한 가우시안 공식화를 사용하며, 보완적인 최대 엔트로피(maximum-entropy) 논증은 2차 임베딩 정보만 유지될 때 로그-행렬식(log-determinant) 구조가 더 광범위하게 발생하는 이유를 보여줍니다. 이 공식화는 단조성(monotonicity), 턴 전반의 총 정보 이득의 가법적 분해(additive decomposition), 그리고 중복 증거에 대한 수확 체감(diminishing returns)을 포함한 바람직한 이론적 성질을 가집니다. LLM-as-a-judge 접근 방식과 달리, 본 지표는 평가 시점에 자기회귀 추론(autoregressive inference)을 필요로 하지 않으며, 고정된 임베딩 모델에 대해 완전히 재현 가능합니다. MT-Bench, Chatbot Arena, UltraFeedback에 대한 실험 결과, 제안된 지표는 의미적 진전만을 목표로 함에도 불구하고 인간 판단과 경쟁력 있는 일치도를 달성함을 보여주며, MT-Bench와 UltraFeedback에서 여러 LLM 기반 판사들과 비교하여 개선된 정렬(alignment)을 보였습니다. 특히, 이 방법은 CPU만으로 실행되는 환경에서 경량 임베딩 모델을 사용해서도 효과적이며, 이는 거대 모델의 용량에 의존하지 않고도 의미적 진전을 포착할 수 있음을 나타냅니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.