불완전 관측 기반 멀티모달 감성 분석에서의 모달리티 신뢰성 재고
Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations
한국어 초록
멀티모달 감성 분석(Multimodal Sentiment Analysis, MSA)은 텍스트, 오디오, 비전을 통합하여 인간의 정서를 추론하지만, 실제 환경의 멀티모달 관측치는 불완전한 경우가 많습니다. 불완전 관측 MSA를 위한 기존 방법들은 주로 두 가지 패러다임을 따릅니다. 재구성 기반 방법은 관측된 모달리티로부터 결측 정보를 복원하며, 결합 표현 방법은 불완전한 입력으로부터 직접 학습합니다. 이러한 방법들은 효과적이지만, 대개 모달리티 신뢰성을 명시적으로 모델링하기보다는 표현 학습이나 융합 설계 내에서 암묵적으로만 다룹니다. 본 논문에서는 모달리티 신뢰성이 불완전 관측 설정에서 핵심 변수라고 주장합니다. 이를 명시적으로 모델링하지 못하면 두 가지 연관된 문제가 발생합니다. 첫째는 신뢰성 불일치(reliability mismatch)로, 각 모달리티가 유지하는 정서적 증거가 샘플 및 결측률에 따라 달라지는 문제입니다. 둘째는 신뢰성 전파 바이어스(reliability propagation bias)로, 품질이 저하된 모달리티의 메시지가 크로스모달 상호작용 및 예측 성능에 부정적인 영향을 미칠 수 있는 문제입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 불완전 관측 환경의 MSA를 위한 모달리티 신뢰성 보정 프레임워크인 MRCF(Modality Reliability-Calibrated Framework)를 제안합니다. MRCF는 모달리티 내 품질 단서와 크로스모달 의미론적 일관성으로부터 샘플별 모달리티 신뢰성을 추정하는 신뢰성 인식 브랜치(Reliability-Aware Branch), 추정된 점수를 사용하여 크로스모달 정보 흐름을 조절하는 신뢰성 유도 상호작용 브랜치(Reliability-Guided Interaction Branch), 그리고 최종 예측을 위해 신뢰성과 의미론적 단서를 통합하는 신뢰성 보정 융합 모듈(Reliability-Calibrated Fusion Module)을 포함합니다. CMU-MOSI, CMU-MOSEI, CH-SIMS를 통한 실험 결과는 MRCF가 표준 불완전 관측 프로토콜에서 우수한 성능을 달성함을 보여줍니다. 추가 분석은 명시적인 신뢰성 모델링이 상호작용 및 융합 과정에서 신뢰성 불일치와 신뢰성 전파 바이어스를 완화하는 데 도움이 된다는 증거를 제시합니다.
원문 초록
Multimodal Sentiment Analysis (MSA) integrates text, audio, and vision to infer human affect, yet real-world multimodal observations are often incomplete. Existing methods for incomplete-observation MSA mainly follow two paradigms. Reconstruction-based methods recover missing information from observed modalities, while joint-representation methods learn directly from incomplete inputs. Although effective, these methods usually treat modality reliability only implicitly within representation learning or fusion design rather than modeling it explicitly. We argue that modality reliability is a central variable in incomplete-observation settings. Failure to model it explicitly gives rise to two related issues. The first is reliability mismatch, in which the affective evidence retained by each modality varies across samples and missing rates. The second is reliability propagation bias, in which messages from degraded modalities may adversely affect cross-modal interaction and predictive performance. To address these issues, we propose MRCF, a Modality Reliability-Calibrated Framework for MSA with incomplete observations. MRCF contains a Reliability-Aware Branch that estimates sample-specific modality reliability from intramodal quality cues and cross-modal semantic consistency, a Reliability-Guided Interaction Branch that uses the estimated scores to modulate cross-modal information flow, and a Reliability-Calibrated Fusion Module that integrates reliability and semantic cues for final prediction. Experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS show that MRCF achieves strong performance under standard incomplete-observation protocols. Further analyses provide evidence that explicit reliability modeling helps mitigate reliability mismatch and reliability propagation bias during interaction and fusion.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.03611v3
- arXiv:2608.03611v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.