arXiv:2104.08173

Word2rate: training and evaluating multiple word embeddings as statistical transitions

Gary Phua, Shaowei Lin, Dario Poletti

제출 2021-04-16

원문 초록

Using pretrained word embeddings has been shown to be a very effective way in improving the performance of natural language processing tasks. In fact almost any natural language tasks that can be thought of has been improved by these pretrained embeddings. These tasks range from sentiment analysis, translation, sequence prediction amongst many others. One of the most successful word embeddings is the Word2vec CBOW model proposed by Mikolov trained by the negative sampling technique. Mai et al. modifies this objective to train CMOW embeddings that are sensitive to word order. We used a modified version of the negative sampling objective for our context words, modelling the context embeddings as a Taylor series of rate matrices. We show that different modes of the Taylor series produce different types of embeddings. We compare these embeddings to their similar counterparts like CBOW and CMOW and show that they achieve comparable performance. We also introduce a novel left-right context split objective that improves performance for tasks sensitive to word order. Our Word2rate model is grounded in a statistical foundation using rate matrices while being competitive in variety of language tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05679v1cs.CL공통 태그 Sentiment Analysis, Word Embeddings

RPAM: 다운스트림 출력에서 높은 예측 타당도를 가진 언어 모델 연관성 평가를 위한 원칙적 지표

RPAM: A Principled Metric for Evaluating Associations in Language Models with High Predictive Validity in Downstream Outputs

언어 모델(LM)은 고정관념과 같은 문제적 편향을 나타낸다. 이러한 편향을 효과적으로 분석하고 완화하려면 기저 연관성에 대한 정확하고 범용적인 평가 방법이 필요하다. 일부 기존 접근 방식은 생성된 텍스트의 연관성을 분석하는 다운스트림 지표에 초점을 맞춘다. 생성된 텍스트 내용은 LM마다 크게 달라질 수 있기 때문에, 이러한 지표들은 종종 특화된 평가 데이터셋을 필요로 하며, 이는 다운스트림 지표의 일반화를 제한한다. 이와 대조적으로, 업스트림 지표는 임베딩(embedding)이나 연속 확률이라는 근본적인 수준에서 LM을 검토함으로써 LM 전반에 걸쳐 원칙적인 연관성 분석을 가능하게 한다. 그러나 현재까지 생성형 LM을 위한 어떠한 업스트림 지표도 생성된 텍스트에서 측정된 연관성을 포함한 실제 연관성과의 강한 관계를 밝혀내지 못했다. 이러한 간극을 해소하기 위해, 우리는 생성형 LM을 위한 연관성 평가 지표인 상대 확률 연관성 지표(RPAM, Relative Probability Association Metric)를 제안한다. 언어 생성 품질과 목적이 서로 다른 세 가지 LM(Mistral-7B-Instruct, Mistral-7B, GPT-2)과 널리 연구된 평가 데이터셋(WEAT-WS, Bellezza, WS-353, SST2)에 대해, 우리는 업스트림 RPAM 측정값과 인간에게서 관찰된 암묵적·명시적 연관성 및 LM별 태스크로 다운스트림에서 측정된 편향 사이에서 강한 관계를 발견하였으며, 해당하는 경우 기존 최고 기록값을 능가하였다.

arXiv:2606.29068v1cs.CL공통 태그 Sentiment Analysis, Word Embeddings

심리적 감정 이론 전반에 걸친 텍스트 임베딩의 감정 단서 비교 연구

A Comparative Study on Affective Cues in Text Embeddings Across Psychological Emotion Theories

텍스트 인코더는 입력을 밀집 벡터로 효율적으로 압축하면서 의미를 보존하는 능력 덕분에 자연어 처리(NLP)에서 널리 활용되고 있다. 이러한 모델들은 감성 컴퓨팅(affective computing)에도 적용되어 감성 분석(sentiment analysis) 및 감정 인식 과제 해결에 기여해 왔다. 그러나 현대 텍스트 인코더가 생성하는 잠재 표현이 심리학적으로 잘 정의된 감정 이론을 어느 정도까지 포착하는지는 여전히 불분명하다. 본 연구에서는 최근 공개된 12개의 텍스트 인코더의 감정 표현 능력을 조사하기 위해, 이들이 생성한 임베딩을 입력 특징으로 사용하여 단어 수준 및 문장 수준 데이터를 대상으로 세 가지 확립된 감정 프레임워크에 걸쳐 회귀 및 분류(classification) 과제를 수행하였다. 또한 단어 수준 평가의 강건성을 높이기 위해 의미론적 데이터 누출 방지 기법을 적용하였다. 주요 연구 결과에 따르면, 최신 인스트럭션 인식 오픈 가중치(open-weight) 인코더의 잠재 다양체는 단어 수준 평가에서 독점 모델과 동등하거나 오히려 더 많은 양의 감정 정보를 포함하는 것으로 나타났다. 반면, 과제 튜닝 및 독점 인코더의 임베딩은 문장 수준 감정 분류에서 가장 높은 점수를 기록하였다. 더불어 잠재 표현과 그에 인코딩된 감정 단서에 대한 정성적 분석도 제공한다.

arXiv:2606.22478v1cs.CL공통 태그 Sentiment Analysis, Word Embeddings

ROMEVA: 로마 우르두어 언어 모델을 위한 기하학 보존 어휘 확장

ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models

mBERT와 같은 다국어 언어 모델은 저자원 자연어 처리(NLP)에 널리 사용되지만, 로마 우르두어와 같이 형태론적으로 불일치하는 언어에 대한 적응은 아직 충분히 탐구되지 않았다. 로마 우르두어의 철자 변이는 심각한 서브워드(sub-word) 분절을 유발하며, 토큰당 평균 1.50개의 서브워드를 만든다. 우리는 서브워드 평균 초기화와 PCA 가이드 앵커 손실을 결합하여 어휘 확장 중 임베딩을 안정화하는 ROMEVA(Roman Urdu Embedding-preserving Vocabulary Adaptation)를 제안한다. 36,130개 댓글로 구성된 로마 우르두어 코퍼스를 사용하여 mBERT에 고도로 분절된 500개 토큰을 추가하고, 단순 미세조정, 서브워드 인지 미세조정, ROMEVA를 비교한다. ROMEVA는 사전학습된 임베딩 공간을 가장 효과적으로 보존하는 반면, 단순 미세조정이 하류 감성 분류 성능에서 가장 우수한 결과를 낸다. 이러한 결과는 임베딩 안정성과 하류 성능 사이의 단절을 보여주며, 형태론적으로 불일치하는 언어에서는 엄격한 임베딩 보존보다 더 강한 적응이 바람직할 수 있음을 시사한다.

arXiv:2607.02539v2cs.SI공통 태그 Sentiment Analysis

만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습

Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being

추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.

arXiv:2607.05626v2cs.CL공통 태그 Sentiment Analysis

ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구

Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis

우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.

arXiv:2607.03836v2cs.CV공통 태그 Translation

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.