arXiv:2606.07063v1 eess.IV

보편성을 넘어: 동적 얼굴 표정 인식을 위한 GCC-FER 데이터셋과 문화 인식 적응

Beyond Universality: The GCC-FER Dataset and Culture-Aware Adaptation for Dynamic Facial Expression Recognition

Sonalika Singh, Jyotirindra Dandapat, Avishi Razdan, Kshipra V. Moghe, Puneet Gupta, Lalan Kumar

제출 2026-06-05

한국어 초록

동적 얼굴 표정 인식(Dynamic Facial Expression Recognition, DFER)은 정서 컴퓨팅(affective computing), 인간-컴퓨터 상호작용, 지능형 멀티미디어 시스템에서 핵심적인 기술이다. 문화적 뉘앙스가 FER 성능에 미치는 상당한 영향에도 불구하고, 기존 대부분의 FER 시스템은 감정 표현이 인구 집단 전반에 걸쳐 보편적으로 일관된다고 가정한다. 이러한 변이는 문화 간 얼굴 근육 활성화 패턴의 체계적 차이에 기인할 수 있다. 교차 문화적 FER 발전의 주요 난제는 문화적으로 다양한 벤치마크 데이터셋의 부족에 있다. 이를 해결하기 위해 Global Cross-Cultural Facial Expression Recognition(GCC-FER)이라는 새로운 하이브리드 다문화 비디오 데이터셋이 제안된다. GCC-FER는 7가지 기본 표정에 걸친 4개 문화 집단(아프리카, 백인, 동아시아, 남아시아)의 23,934개 비디오 샘플로 구성되며, 저대표 인구 집단을 위한 심리학적 감독 하의 자체 데이터 수집과 기존 출처에 대한 엄격한 민족성 필터링을 결합한다. 저희가 아는 한, GCC-FER는 이러한 인구통계학적 격차를 해소하기 위해 설계된 최초의 대규모 글로벌 교차 문화 DFER 데이터셋이다. 이 데이터셋을 활용하여 각 문화 집단에 대한 행동적으로 근거 있는 문화적 사전(prior)과 실용적 배포를 위한 글로벌 사전이 도출된다. 문화적 바이어스를 완화하기 위해 잠재적 얼굴 표현을 적응적으로 재보정하는 Culture-Aware FER(CA-FER) 시스템이 제안된다. GCC-FER와 DFEW에 대한 광범위한 실험은 제안된 시스템이 다문화 환경 전반에서 FER 성능을 지속적으로 향상시킴을 보여준다.

원문 초록

Dynamic Facial Expression Recognition (DFER) is a key enabling technology in affective computing, human-computer interaction, and intelligent multimedia systems. Despite the significant influence of cultural nuances on FER performance, most existing FER systems assume that emotional expressions are universally consistent across populations. This variation can be attributed to systematic differences in facial muscle activation patterns across cultures. A major challenge in advancing cross-cultural FER lies in the scarcity of culturally diverse benchmark datasets. To address this, a new hybrid multicultural video dataset termed Global Cross-Cultural Facial Expression Recognition (GCC-FER) is introduced. GCC-FER comprises 23,934 video samples spanning four cultural groups (African, Caucasian, East Asian, and South Asian) across seven basic expressions, combining psychologically supervised in-house data collection for underrepresented populations with rigorous ethnicity filtering of existing sources. To the best of our knowledge, GCC-FER is the first large-scale global cross-cultural DFER dataset designed to address these demographic gaps. Leveraging this dataset, behaviorally grounded cultural priors are derived for each cultural group and a global prior for practical deployment. A Culture-Aware FER (CA-FER) system is proposed to mitigate cultural bias by adaptively recalibrating latent facial representations. Extensive experiments on GCC-FER and DFEW demonstrate that the proposed system consistently improves FER performance across multicultural settings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07063v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.