Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
원문 초록
The effectiveness of a model is heavily reliant on the quality of the fusion representation of multiple modalities in multimodal sentiment analysis. Moreover, each modality is extracted from raw input and integrated with the rest to construct a multimodal representation. Although previous methods have proposed multimodal representations and achieved promising results, most of them focus on forming positive and negative pairs, neglecting the variation in sentiment scores within the same class. Additionally, they fail to capture the significance of unimodal representations in the fusion vector. To address these limitations, we introduce a framework called Supervised Angular-based Contrastive Learning for Multimodal Sentiment Analysis. This framework aims to enhance discrimination and generalizability of the multimodal representation and overcome biases in the fusion vector's modality. Our experimental results, along with visualizations on two widely used datasets, demonstrate the effectiveness of our approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MRUF: 강건한 멀티모달 감성 분석을 위한 불확실성 인식 융합 기반 다중 세분도 라우팅
MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis
멀티모달 감성 분석은 언어, 시각, 음향 단서에 의존하지만, 가림(occlusion), 배경 소음, 모션 블러, 또는 불완전한 전사(transcript)로 인해 발화 수준의 모달리티 품질이 달라질 수 있어, 기존 융합 방식이 신뢰할 수 없는 모달리티를 과신하는 문제가 발생한다. 우리는 다중 세분도 라우팅(multi-granularity routing)과 불확실성 인식 보정(uncertainty-aware calibration)을 결합한 신뢰도 인식 융합 방법인 MRUF를 제안한다. MRUF는 감성 관련 표현을 요약하고, 부분공간 수준 및 모달리티 수준 라우팅을 수행하며, 리브-원-아웃(leave-one-out) 오류 증가를 통해 모달리티 라우팅을 감독하여 발화 수준의 모달리티 중요도를 추정한다. 또한 모달리티별 불확실성을 예측하고 역분산 재가중(inverse-variance reweighting)을 통해 모달리티 게이트를 정제하며, 모달리티 불변 대조 정렬(modality-invariant contrastive alignment)로 공유 표현 공간을 안정화한다. 정렬 및 비정렬 설정에서 CMU-MOSI와 CMU-MOSEI에 대한 실험은 강력한 기준 모델 대비 일관된 성능 향상을 보여주며, 메커니즘 분석을 통해 예측 불확실성이 높은 모달리티일수록 더 낮은 융합 가중치를 받는다는 것이 검증된다.
PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합
PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models
감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.
도메인 적응은 항상 도움이 되는가? 크로스 도메인 감성 전이의 동결 백본 연구
Is Domain Adaptation Always Helpful? A Frozen-Backbone Study of Cross-Domain Sentiment Transfer
동결된 사전학습 언어 모델(PLM) 백본을 활용한 감성 분석(sentiment analysis)은 일반적인 패러다임이 되었지만, 특히 백본이 타깃 도메인 지식을 다양한 수준으로 인코딩하는 경우 명시적 도메인 적응의 실질적 이점은 여전히 불분명하다. 본 연구에서는 동결된 임베딩(embedding) 백본의 통제된 계열(Qwen3-Embedding 0.6B, 4B, 8B)과 RoBERTa-base 및 FinBERT를 평가하는 예비 사례 연구를 제시한다. 도메인 적대적 신경망(Domain-Adversarial Neural Networks, DANN), 최대 평균 불일치(Maximum Mean Discrepancy, MMD), 지도 대조 학습(Supervised Contrastive Learning, SCL)을 사용하여 소비자 리뷰에서 경량 MLP 어댑터를 학습하고, 영화 리뷰(SST-2) 및 엄격하게 제한된 금융 뉴스 서브셋(Financial PhraseBank)으로의 전이를 평가한다. 이 제한된 샘플 내에서 두 가지 뚜렷한 전이 패턴이 관찰된다. SST-2에서는 스케일에 무관하게 도메인 적응이 무시할 수 있는 수준의 성능 향상만을 제공한다. 금융 서브셋에서는 명시적 도메인 적응이 소규모 범용 백본의 성능을 상당 부분 회복하는 것으로 나타난다. 특히, 적대적 정렬(DANN)은 FinBERT와 같은 도메인 특화 백본에서 성능 저하와 연관되며, 이는 기존 도메인 특화 구조의 손상과 일치하는 반면, 지도 대조 손실(loss)은 이를 보존하는 것으로 나타난다. 이러한 예비 연구 결과는 명시적 도메인 적응의 효용이 동결된 백본이 이미 타깃 도메인 커버리지를 보유하고 있는지 여부에 크게 좌우됨을 시사한다.
주야간 시각 성능 및 야간 재귀반사율 평가를 통합한 교통 표지판 종합 상태 평가를 위한 VLM 강화 프레임워크
A VLM-Enhanced Framework for Comprehensive Traffic Sign Condition Assessment Integrating Daytime Visual Performance and Nighttime Retroreflectivity Evaluation
교통 표지판은 모든 조명 조건에서 시각적 도구로서 도로 안전의 핵심 구성 요소이다. 도로 교통 제어 장치 통일 매뉴얼(MUTCD)은 가독성 및 색상 대비와 같은 주간 시각적 요소와 야간 재귀반사율 요구사항을 규정하고 있다. 전통적인 평가 방법은 수동 점검에 의존하는데, 미국 연방도로청(FHWA)은 이를 주관적이고 노동 집약적이며 안전 우려가 있다고 지적하는 반면, 재귀반사계는 비용이 높아 소규모 기관이 도입하기 어렵다. 기존 연구의 대부분은 주간 요소 또는 야간 재귀반사율 중 한 가지에만 집중하며, 두 측면을 종합적으로 통합하는 경우는 드물다. 본 연구는 주야간 통합 평가를 통해 교통 표지판을 체계적으로 평가하는 새로운 프레임워크를 개발한다. 제안 방법론은 세 가지 파인튜닝된 비전-언어 모델(VLM)을 활용하여 가독성, 색상, 표면 및 형상 무결성, 주변 환경 조건의 네 가지 주요 요소에 걸쳐 주간 시각 성능을 평가한다. VLM 예측은 감성 분석과 대조적 언어-이미지 사전학습(CLIP) 점수를 통해 수치 점수로 변환되며, 야간 성능은 확립된 보정 절차에 따라 LiDAR 기반 재귀반사율을 사용하여 평가된다. 프레임워크는 이러한 구성 요소들을 유지관리 지침을 위한 종합 표지판 상태 지수(SCI)로 통합한다. 평가 결과, LLaVA와 Qwen이 InternVL보다 우수한 성능을 보였으며, 모든 요소에서 양방향 코사인 유사도 점수 0.67~0.76을 달성하였다. 검증된 교통 표지판 462개 중 68개가 재귀반사율 성능 부족으로 인해 즉각적인 교체가 필요한 것으로 제안 프레임워크에 의해 표시되었다. 본 연구는 종합적인 교통 표지판 상태 평가를 위한 전통적인 수동 점검의 비용 효율적인 대안을 제공한다.
Adversarial Multimodal Domain Transfer for Video-Level Sentiment Analysis
Text-Embedded Bilinear Model for Fine-Grained Visual Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.