arXiv:1902.00753

Word Embeddings for Sentiment Analysis: A Comprehensive Empirical Survey

Erion Çano, Maurizio Morisio

제출 2019-02-02

원문 초록

This work investigates the role of factors like training method, training corpus size and thematic relevance of texts in the performance of word embedding features on sentiment analysis of tweets, song lyrics, movie reviews and item reviews. We also explore specific training or post-processing methods that can be used to enhance the performance of word embeddings in certain tasks or domains. Our empirical observations indicate that models trained with multithematic texts that are large and rich in vocabulary are the best in answering syntactic and semantic word analogy questions. We further observe that influence of thematic relevance is stronger on movie and phone reviews, but weaker on tweets and lyrics. These two later domains are more sensitive to corpus size and training method, with Glove outperforming Word2vec. "Injecting" extra intelligence from lexicons or generating sentiment specific word embeddings are two prominent alternatives for increasing performance of word embedding features.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27939v1cs.CL공통 태그 Sentiment Analysis, Survey

감성 분류에서 실행 가능하고 책임 있는 피드백으로: 학생 강의 평가(SET)에서 NLP의 범위 검토 및 증거 지도, 2015–2026

From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026

서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.

arXiv:2609.25186v1cs.CY공통 태그 Sentiment Analysis, Survey

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2607.23675v1cs.CL공통 태그 Survey, Word Embeddings

표준 단어 임베딩의 특성에 대한 실증적 조사

An empirical investigation into the properties of standard word embeddings

단어 시퀀스를 연속 벡터 공간에 임베딩하는 것은 최근 자연어 처리(NLP) 분야에서 가장 중요한 발전 중 하나였다. 이러한 임베딩은 자동 음성 인식, 기계 번역, 감성 분석 등 다양한 영역에 응용되어 왔다. 본 에세이는 단어 임베딩 계산을 위해 제안된 다양한 메커니즘을 검토하고, 공개 도메인에서 이용 가능한 널리 쓰이는 툴킷과 임베딩 행렬을 조사하며, 하나 이상의 선정된 구현을 실험하여 그 특성을 더 잘 이해한다. 단어의 연속 벡터 표현은 최근 몇 년간 자연어 처리 분야에서 가장 중요한 발전 중 하나였다. 이러한 표현은 음성 인식, 기계 번역, 감성 분석 등의 분야에 응용되어 왔다. 본 연구는 이러한 단어 벡터 계산을 위해 제안된 다양한 메커니즘을 검토하고, 공개적으로 온라인에서 이용 가능한 인기 툴킷과 행렬을 조사하며, 하나 이상의 선정된 구현을 실험하여 그 특성을 더 잘 이해한다.

arXiv:2607.24082v1cs.AI공통 태그 Sentiment Analysis, Survey

고수준 의미 지능을 향하여

Towards High-Level Semantic Intelligence

최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다. 이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.

arXiv:2607.13123v1cs.CR공통 태그 Sentiment Analysis, Survey

사이버심리학에서의 AI: 피해자·공격자·방어자의 심리 분석을 통한 AI 기반 사이버보안 강화에 대한 체계적 문헌 고찰

AI in Cyberpsychology: A systematic literature review of Cybersecurity enhancement by using AI for analyzing psychology of Victims, Attackers, and Defenders

사이버보안은 시스템, 네트워크, 데이터를 디지털 공격으로부터 보호하는 실천이다. 사이버심리학(CPSY)은 사이버보안 응용을 강화하기 위해 심리학을 활용하는 것으로 정의된다. 2010년대 초부터 인공지능(AI)의 발전은 CPSY와 점점 더 통합되어, 고급 데이터 분석을 활용해 피해자, 공격자, 방어자 각각의 고유한 성격 특성과 행동 패턴을 해독하고 있다. 본 체계적 문헌 고찰(SLR)에서는 체계적 문헌 고찰 및 메타분석 보고 가이드(PRISMA) 방법론을 사용하여, 사이버심리학에서의 AI 활용(AI-CPSY)에 관한 수집된 34편의 연구를 면밀히 분석한다. 본 고찰은 연구 전반에서 사용된 사이버보안 응용, AI 방법론, 심리학 개념에 대한 포괄적 분류 체계를 제시한다. 연구들을 네 가지 사이버보안 응용으로 분류한다: 이상 탐지(AD), 취약성 위험 예측(VRP), 보안 인식 교육(SAT), 인증/신원 확인(AIV). 각 응용 영역 내에서 연구들은 머신러닝(ML), 심층 학습(DL), 자연어 처리(NLP), 강화학습(RL)을 포함한 사용된 AI 방법에 따라 추가로 분류한다. 또한 본 고찰은 가장 널리 활용되는 심리학 개념을 식별하고, 해당 분야에서 사용된 데이터셋을 정량화하며, 현재의 구현 및 배포 현황을 제시한다. 마지막으로 AI-CPSY 전반에서 연구 공백을 파악하고, 미해결 과제를 제시하며, 유행하고 가장 효과적이며 새롭게 부상하는 방법론을 도출한다.

arXiv:2607.11890v1cs.CY공통 태그 Sentiment Analysis, Survey

의견도 많고 LLM도 많다: 개방형 설문 분석에서 대규모 언어 모델과 전통적 머신러닝 비교

So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis

개방형 설문은 귀중한 통찰을 제공하지만, 대규모로 분석하기는 악명 높을 정도로 어렵다. 텍스트 분류에 전통적 머신러닝을 적용한 선행 연구("So Many Responses, So Little Time: A Machine-Learning Approach to Analyzing Open-Ended Survey Data") [1]를 바탕으로, 본 연구는 서로 다른 대규모 언어 모델(LLM)이 NSSE 개방형 설문 응답을 어떻게 이해하고 분석하는지 조사한다. 여러 최신 LLM—OpenAI의 GPT 시리즈, Twitter-roBERTa-base 모델, Meta의 LLaMA—에 초점을 맞추고, 감성 분석 및 주제 분류와 같은 과제에서 이들의 성능을 이전 머신러닝 모델과 비교한다. 본 연구 분석은 모델 간 일치도, 분류 정확도, 그리고 추론의 해석 가능성을 평가한다. 결과는 현재 LLM이 분류 정확도에서 전통적 머신러닝 모델을 일관되게 능가한다는 것을 보여 주며, 특히 학생 응답의 복잡한 정서 및 주제 패턴 이해에서 두드러진다. LLM이 정확도는 우수하지만, 예측을 얼마나 명시적이고 일관되게 정당화하는지, 그리고 범주 경계를 적용하는 방식에서는 크게 다르다. 이러한 차이는 정성 분석에 LLM을 사용할 때 중요한 트레이드오프를 부각한다: 예측력의 증가는 일관성과 설명 가능성의 문제를 수반한다. 본 연구 결과는 대규모 정성 연구에 다양한 LLM을 활용할 때의 이점과 단점을 보여 주며, 자동화와 해석적 엄밀성의 균형을 맞추려는 연구자들을 위한 실용적 조언을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.