Emotions are Subtle: Learning Sentiment Based Text Representations Using Contrastive Learning
원문 초록
Contrastive learning techniques have been widely used in the field of computer vision as a means of augmenting datasets. In this paper, we extend the use of these contrastive learning embeddings to sentiment analysis tasks and demonstrate that fine-tuning on these embeddings provides an improvement over fine-tuning on BERT-based embeddings to achieve higher benchmarks on the task of sentiment analysis when evaluated on the DynaSent dataset. We also explore how our fine-tuned models perform on cross-domain benchmark datasets. Additionally, we explore upsampling techniques to achieve a more balanced class distribution to make further improvements on our benchmark tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합
PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models
감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.
MRUF: 강건한 멀티모달 감성 분석을 위한 불확실성 인식 융합 기반 다중 세분도 라우팅
MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis
멀티모달 감성 분석은 언어, 시각, 음향 단서에 의존하지만, 가림(occlusion), 배경 소음, 모션 블러, 또는 불완전한 전사(transcript)로 인해 발화 수준의 모달리티 품질이 달라질 수 있어, 기존 융합 방식이 신뢰할 수 없는 모달리티를 과신하는 문제가 발생한다. 우리는 다중 세분도 라우팅(multi-granularity routing)과 불확실성 인식 보정(uncertainty-aware calibration)을 결합한 신뢰도 인식 융합 방법인 MRUF를 제안한다. MRUF는 감성 관련 표현을 요약하고, 부분공간 수준 및 모달리티 수준 라우팅을 수행하며, 리브-원-아웃(leave-one-out) 오류 증가를 통해 모달리티 라우팅을 감독하여 발화 수준의 모달리티 중요도를 추정한다. 또한 모달리티별 불확실성을 예측하고 역분산 재가중(inverse-variance reweighting)을 통해 모달리티 게이트를 정제하며, 모달리티 불변 대조 정렬(modality-invariant contrastive alignment)로 공유 표현 공간을 안정화한다. 정렬 및 비정렬 설정에서 CMU-MOSI와 CMU-MOSEI에 대한 실험은 강력한 기준 모델 대비 일관된 성능 향상을 보여주며, 메커니즘 분석을 통해 예측 불확실성이 높은 모달리티일수록 더 낮은 융합 가중치를 받는다는 것이 검증된다.
도메인 적응은 항상 도움이 되는가? 크로스 도메인 감성 전이의 동결 백본 연구
Is Domain Adaptation Always Helpful? A Frozen-Backbone Study of Cross-Domain Sentiment Transfer
동결된 사전학습 언어 모델(PLM) 백본을 활용한 감성 분석(sentiment analysis)은 일반적인 패러다임이 되었지만, 특히 백본이 타깃 도메인 지식을 다양한 수준으로 인코딩하는 경우 명시적 도메인 적응의 실질적 이점은 여전히 불분명하다. 본 연구에서는 동결된 임베딩(embedding) 백본의 통제된 계열(Qwen3-Embedding 0.6B, 4B, 8B)과 RoBERTa-base 및 FinBERT를 평가하는 예비 사례 연구를 제시한다. 도메인 적대적 신경망(Domain-Adversarial Neural Networks, DANN), 최대 평균 불일치(Maximum Mean Discrepancy, MMD), 지도 대조 학습(Supervised Contrastive Learning, SCL)을 사용하여 소비자 리뷰에서 경량 MLP 어댑터를 학습하고, 영화 리뷰(SST-2) 및 엄격하게 제한된 금융 뉴스 서브셋(Financial PhraseBank)으로의 전이를 평가한다. 이 제한된 샘플 내에서 두 가지 뚜렷한 전이 패턴이 관찰된다. SST-2에서는 스케일에 무관하게 도메인 적응이 무시할 수 있는 수준의 성능 향상만을 제공한다. 금융 서브셋에서는 명시적 도메인 적응이 소규모 범용 백본의 성능을 상당 부분 회복하는 것으로 나타난다. 특히, 적대적 정렬(DANN)은 FinBERT와 같은 도메인 특화 백본에서 성능 저하와 연관되며, 이는 기존 도메인 특화 구조의 손상과 일치하는 반면, 지도 대조 손실(loss)은 이를 보존하는 것으로 나타난다. 이러한 예비 연구 결과는 명시적 도메인 적응의 효용이 동결된 백본이 이미 타깃 도메인 커버리지를 보유하고 있는지 여부에 크게 좌우됨을 시사한다.
주야간 시각 성능 및 야간 재귀반사율 평가를 통합한 교통 표지판 종합 상태 평가를 위한 VLM 강화 프레임워크
A VLM-Enhanced Framework for Comprehensive Traffic Sign Condition Assessment Integrating Daytime Visual Performance and Nighttime Retroreflectivity Evaluation
교통 표지판은 모든 조명 조건에서 시각적 도구로서 도로 안전의 핵심 구성 요소이다. 도로 교통 제어 장치 통일 매뉴얼(MUTCD)은 가독성 및 색상 대비와 같은 주간 시각적 요소와 야간 재귀반사율 요구사항을 규정하고 있다. 전통적인 평가 방법은 수동 점검에 의존하는데, 미국 연방도로청(FHWA)은 이를 주관적이고 노동 집약적이며 안전 우려가 있다고 지적하는 반면, 재귀반사계는 비용이 높아 소규모 기관이 도입하기 어렵다. 기존 연구의 대부분은 주간 요소 또는 야간 재귀반사율 중 한 가지에만 집중하며, 두 측면을 종합적으로 통합하는 경우는 드물다. 본 연구는 주야간 통합 평가를 통해 교통 표지판을 체계적으로 평가하는 새로운 프레임워크를 개발한다. 제안 방법론은 세 가지 파인튜닝된 비전-언어 모델(VLM)을 활용하여 가독성, 색상, 표면 및 형상 무결성, 주변 환경 조건의 네 가지 주요 요소에 걸쳐 주간 시각 성능을 평가한다. VLM 예측은 감성 분석과 대조적 언어-이미지 사전학습(CLIP) 점수를 통해 수치 점수로 변환되며, 야간 성능은 확립된 보정 절차에 따라 LiDAR 기반 재귀반사율을 사용하여 평가된다. 프레임워크는 이러한 구성 요소들을 유지관리 지침을 위한 종합 표지판 상태 지수(SCI)로 통합한다. 평가 결과, LLaVA와 Qwen이 InternVL보다 우수한 성능을 보였으며, 모든 요소에서 양방향 코사인 유사도 점수 0.67~0.76을 달성하였다. 검증된 교통 표지판 462개 중 68개가 재귀반사율 성능 부족으로 인해 즉각적인 교체가 필요한 것으로 제안 프레임워크에 의해 표시되었다. 본 연구는 종합적인 교통 표지판 상태 평가를 위한 전통적인 수동 점검의 비용 효율적인 대안을 제공한다.
ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.
CPM-MultiAgent: 의료 대화에서 환자 감정의 동적 변화를 시뮬레이션하기 위한 CPM 기반 평가(appraisal) 프레임워크
CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue
대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.