arXiv:2209.07424

CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations

Junghun Kim, Jihie Kim

제출 2022-08-21

원문 초록

Multimodal sentiment analysis has become an increasingly popular research area as the demand for multimodal online content is growing. For multimodal sentiment analysis, words can have different meanings depending on the linguistic context and non-verbal information, so it is crucial to understand the meaning of the words accordingly. In addition, the word meanings should be interpreted within the whole utterance context that includes nonverbal information. In this paper, we present a Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations (CMSBERT-CLR), which incorporates the whole context's non-verbal and verbal information and aligns modalities more effectively through contrastive learning. First, we introduce a Context-driven Modality Shifting (CMS) to incorporate the non-verbal and verbal information within the whole context of the sentence utterance. Then, for improving the alignment of different modalities within a common embedding space, we apply contrastive learning. Furthermore, we use an exponential moving average parameter and label smoothing as optimization strategies, which can make the convergence of the network more stable and increase the flexibility of the alignment. In our experiments, we demonstrate that our approach achieves state-of-the-art results.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10599v1cs.AI공통 태그 Sentiment Analysis, Multimodal Sentiment Analysis, Contrastive Learning

MRUF: 강건한 멀티모달 감성 분석을 위한 불확실성 인식 융합 기반 다중 세분도 라우팅

MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis

멀티모달 감성 분석은 언어, 시각, 음향 단서에 의존하지만, 가림(occlusion), 배경 소음, 모션 블러, 또는 불완전한 전사(transcript)로 인해 발화 수준의 모달리티 품질이 달라질 수 있어, 기존 융합 방식이 신뢰할 수 없는 모달리티를 과신하는 문제가 발생한다. 우리는 다중 세분도 라우팅(multi-granularity routing)과 불확실성 인식 보정(uncertainty-aware calibration)을 결합한 신뢰도 인식 융합 방법인 MRUF를 제안한다. MRUF는 감성 관련 표현을 요약하고, 부분공간 수준 및 모달리티 수준 라우팅을 수행하며, 리브-원-아웃(leave-one-out) 오류 증가를 통해 모달리티 라우팅을 감독하여 발화 수준의 모달리티 중요도를 추정한다. 또한 모달리티별 불확실성을 예측하고 역분산 재가중(inverse-variance reweighting)을 통해 모달리티 게이트를 정제하며, 모달리티 불변 대조 정렬(modality-invariant contrastive alignment)로 공유 표현 공간을 안정화한다. 정렬 및 비정렬 설정에서 CMU-MOSI와 CMU-MOSEI에 대한 실험은 강력한 기준 모델 대비 일관된 성능 향상을 보여주며, 메커니즘 분석을 통해 예측 불확실성이 높은 모달리티일수록 더 낮은 융합 가중치를 받는다는 것이 검증된다.

arXiv:2609.26658v1cs.IR공통 태그 Sentence, Contrastive Learning

텍스트를 통한 서로소 테이블의 발견 기반 통합

Discovery-Driven Integration of Disjoint Tables via Text

데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.

arXiv:2607.10245v1cs.CL공통 태그 Sentiment Analysis, Contrastive Learning

PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합

PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models

감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.