arXiv:2401.06659

WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge

Wenbin Wang, Liang Ding, Li Shen, Yong Luo, Han Hu, DaCheng Tao

제출 2024-01-12

원문 초록

Sentiment analysis is rapidly advancing by utilizing various data modalities (e.g., text, image). However, most previous works relied on superficial information, neglecting the incorporation of contextual world knowledge (e.g., background information derived from but beyond the given image and text pairs) and thereby restricting their ability to achieve better multimodal sentiment analysis (MSA). In this paper, we proposed a plug-in framework named WisdoM, to leverage the contextual world knowledge induced from the large vision-language models (LVLMs) for enhanced MSA. WisdoM utilizes LVLMs to comprehensively analyze both images and corresponding texts, simultaneously generating pertinent context. To reduce the noise in the context, we also introduce a training-free contextual fusion mechanism. Experiments across diverse granularities of MSA tasks consistently demonstrate that our approach has substantial improvements (brings an average +1.96% F1 score among five advanced methods) over several state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10599v1cs.AI공통 태그 Sentiment Analysis, Multimodal Sentiment Analysis

MRUF: 강건한 멀티모달 감성 분석을 위한 불확실성 인식 융합 기반 다중 세분도 라우팅

MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis

멀티모달 감성 분석은 언어, 시각, 음향 단서에 의존하지만, 가림(occlusion), 배경 소음, 모션 블러, 또는 불완전한 전사(transcript)로 인해 발화 수준의 모달리티 품질이 달라질 수 있어, 기존 융합 방식이 신뢰할 수 없는 모달리티를 과신하는 문제가 발생한다. 우리는 다중 세분도 라우팅(multi-granularity routing)과 불확실성 인식 보정(uncertainty-aware calibration)을 결합한 신뢰도 인식 융합 방법인 MRUF를 제안한다. MRUF는 감성 관련 표현을 요약하고, 부분공간 수준 및 모달리티 수준 라우팅을 수행하며, 리브-원-아웃(leave-one-out) 오류 증가를 통해 모달리티 라우팅을 감독하여 발화 수준의 모달리티 중요도를 추정한다. 또한 모달리티별 불확실성을 예측하고 역분산 재가중(inverse-variance reweighting)을 통해 모달리티 게이트를 정제하며, 모달리티 불변 대조 정렬(modality-invariant contrastive alignment)로 공유 표현 공간을 안정화한다. 정렬 및 비정렬 설정에서 CMU-MOSI와 CMU-MOSEI에 대한 실험은 강력한 기준 모델 대비 일관된 성능 향상을 보여주며, 메커니즘 분석을 통해 예측 불확실성이 높은 모달리티일수록 더 낮은 융합 가중치를 받는다는 것이 검증된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.