arXiv:2610.11918v1 cs.MM

표면에서 심층으로: 멀티모달 감정 이해에서 인지적 평가 추론을 향하여

From Surface to Depth: Towards Cognitive Appraisal Reasoning in Multimodal Emotion Understanding

Jia Li, Yichao He, Yangchen Yu, Qiankun Li, Xinyi Li, Baiyi Ye, Zhenzhen Hu, Richang Hong, Erik Cambria

제출 2026-10-08

저자 비고

arXiv Comments

34 pages, 10 figures, Project page: https://github.com/MSA-LMC/CogEmo

한국어 초록

최근 멀티모달 대규모 언어 모델(MLLM)은 감정 이해를 위해 설명 가능한 추론을 점점 더 많이 통합하고 있다. 그러나 주로 관찰 가능한 정서적 신호(affective cues)에 기반한 추론은 감정 이해를 표면적인 신호-레이블 연관 관계로 축소시켜 클레버 한스 효과(Clever Hans effect)를 초래할 수 있다. 이러한 지름길(shortcut)은 정서적 신호가 암묵적이거나, 모달리티 간에 상충하거나, 언어적으로 오도되거나, 불필요한 세부 사항에 의해 가려질 때 신뢰할 수 없게 된다. 반면, 인간의 감정은 관찰 가능한 신호를 넘어 개인이 주변 사건을 해석하고 평가하는 방식에 의해 형성된다. 감정의 평가 이론(appraisal theories of emotion)에서 영감을 받아, 우리는 멀티모달 감정 이해를 지각(perception)에서 인지적 평가(cognitive appraisal)로 나아가는 과정으로 정식화하고, 이 새로운 패러다임을 지원하기 위한 데이터셋, 모델, 벤치마크를 제시한다. CogEmo-40K는 지각에서 평가로 이어지는 파이프라인을 통해 구축된 대규모 인스트럭션 튜닝 데이터셋으로, 감정의 기저에 있는 여섯 가지 인지적 평가 차원에 걸쳐 근거 기반(evidence-grounded) 추론을 이끌어내도록 설계되었다. CogEmo-MoE는 평가별 적응(appraisal-specific adaptation)을 위한 교차 배치형(interleaved) MoE 블록을 도입한 소형 희소(sparse) MLLM으로, 일반적인 감정 MLLM보다 훨씬 작은 규모에서도 효과적인 평가 추론을 가능하게 한다. CogEmo-Bench는 여섯 가지 상호 보완적인 평가 차원에 걸쳐 인지-정서적 이해(cognitive-affective understanding)를 평가하기 위해 평가 근거 품질 점수(Appraisal Evidence Quality Score, AEQS)를 도입하며, 어떤 감정이 예측되었는지는 평가하지만 그 감정이 왜 발생했는지는 평가하지 못하는 기존 감정 평가 지표의 한계를 해결한다. 광범위한 실험을 통해 우리의 패러다임이 CogEmo-Bench에서 선두를 차지할 뿐만 아니라 강력한 도메인 간 일반화(cross-domain generalization) 성능도 보인다는 것을 확인했다. 우리의 연구 결과는 지각에서 평가로 이어지는 추론이 표면적인 신호-레이블 연관 관계를 넘어 더 신뢰할 수 있는 멀티모달 감정 이해로 나아가고, MLLM과 인간 간의 인지적 정렬(cognitive alignment)을 더 가깝게 할 수 있음을 시사한다.

원문 초록

Recent multimodal large language models (MLLMs) increasingly incorporate explainable reasoning for emotion understanding. However, reasoning based mainly on observable affective cues can reduce emotion understanding to superficial cue-label associations, giving rise to the Clever Hans effect. Such shortcuts become unreliable when affective cues are implicit, conflicting across modalities, linguistically misleading, or obscured by redundant details. In contrast, human emotions are shaped by how individuals interpret and evaluate surrounding events beyond observable cues. Inspired by appraisal theories of emotion, we formulate multimodal emotion understanding as a progression from perception to cognitive appraisal, and introduce a dataset, a model, and a benchmark to support this novel paradigm. CogEmo-40K is a large-scale instruction-tuning dataset constructed through a perception-to-appraisal pipeline to elicit evidence-grounded reasoning across six cognitive appraisal dimensions underlying emotion. CogEmo-MoE is a compact sparse MLLM that introduces interleaved MoE blocks for appraisal-specific adaptation, enabling effective appraisal reasoning at a substantially smaller scale than typical emotion MLLMs. CogEmo-Bench introduces an Appraisal Evidence Quality Score (AEQS) to assess cognitive-affective understanding across six complementary appraisal dimensions, addressing the limitation of conventional emotion metrics that evaluate what emotion is predicted but not why it arises. Extensive experiments show that our paradigm not only leads CogEmo-Bench, but also exhibits strong cross-domain generalization. Our findings suggest that perception-to-appraisal reasoning can move beyond surface-level cue-label associations toward more reliable multimodal emotion understanding and closer cognitive alignment between MLLMs and humans.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11918v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.