arXiv:2608.03358v1 cs.CL

ArtECulture: 멀티모달 대규모 언어 모델의 문화 조건부 시각 감정 이해 벤치마킹

ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models

Xiaolin Chen, Xuemeng Song, Wenhao Shi, Xianjing Han, Mong-Li Lee, Wynne Hsu

제출 2026-08-04

한국어 초록

기존의 시각 감정 이해 방식은 일반적으로 감정 인식에 대한 문화적 차이를 무시합니다. 본 논문에서는 주어진 이미지에 대한 특정 문화권의 감정 인식을 예측하고 그 기저의 논리적 근거를 설명하는 과업인 문화 조건부 시각 감정 이해(culture-conditioned visual emotion understanding)를 소개합니다. 관련 벤치마크가 존재하긴 하지만, 일관되지 않은 개인별 주석으로 인해 다수가 지지하는 문화적 수준의 감정 라벨을 도출하기 어렵고 문화적 범위가 불균형하다는 한계가 있습니다. 이에 따라 서구권 및 비서구권 콘텐츠의 균형을 맞추고 영어, 중국어, 아랍어 문화권에 걸쳐 문화 특화 감정 라벨과 설명을 담은 6,792점의 예술 작품을 포함하는 벤치마크인 ArtECulture를 제시합니다. 제로샷(zero-shot) 환경에서 16개의 오픈소스 및 상용 멀티모달 대규모 언어 모델(MLLM)을 평가한 결과, 가장 우수한 모델도 50% 미만의 정확도를 기록하여 이 과업이 여전히 까다로운 도전 과제로 남아 있음을 확인했습니다. 이러한 한계를 해결하기 위해, 개념 기반의 문화 감정 지식 베이스를 활용하여 추가적인 학습(training) 없이도 MLLM에 명시적인 문화 지식을 주입하는 검색-증강(retrieval-augmented) 문화 조건부 감정 이해 프레임워크를 도입합니다. 이 프레임워크는 문화적으로 정렬된 감정 예측과 그라운딩(grounding)된 설명 생성 능력을 모두 향상시킵니다. 본 연구의 벤치마크와 코드는 공개될 예정입니다.

원문 초록

Existing visual emotion understanding methods typically ignore cultural variations in emotional perception. We introduce culture-conditioned visual emotion understanding, a task that predicts the culture-specific emotional perception of a given image and explains the underlying rationale. Although related benchmarks exist, they are limited by inconsistent individual annotations, which hinder the derivation of majority-supported culture-level emotion labels, and imbalanced cultural coverage. Thus, we present ArtECulture, a benchmark containing 6,792 artworks with culture-specific emotion labels and explanations across English, Chinese, and Arabic cultures, with balanced Western and non-Western content. Evaluations of 16 open- and closed-source Multimodal Large Language Models (MLLMs) under a zero-shot setting reveal that the task remains challenging, with the best model achieving below 50\% accuracy. To address this limitation, we introduce a retrieval-augmented culture-conditioned emotion understanding framework, which leverages a concept-based cultural emotion knowledge base to inject explicit cultural knowledge into MLLMs without additional training. The framework improves both culturally aligned emotion prediction and grounded explanation generation. Our benchmark and code will be publicly released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.03358v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.