Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition
원문 초록
Affective computing and cognitive theory are widely used in modern human-computer interaction scenarios. Human faces, as the most prominent and easily accessible features, have attracted great attention from researchers. Since humans have rich emotions and developed musculature, there exist a lot of fine-grained expressions in real-world applications. However, it is extremely time-consuming to collect and annotate a large number of facial images, of which may even require psychologists to correctly categorize them. To the best of our knowledge, the existing expression datasets are only limited to several basic facial expressions, which are not sufficient to support our ambitions in developing successful human-computer interaction systems. To this end, a novel Fine-grained Facial Expression Database - F2ED is contributed in this paper, and it includes more than 200k images with 54 facial expressions from 119 persons. Considering the phenomenon of uneven data distribution and lack of samples is common in real-world scenarios, we further evaluate several tasks of few-shot expression learning by virtue of our F2ED, which are to recognize the facial expressions given only few training instances. These tasks mimic human performance to learn robust and general representation from few examples. To address such few-shot tasks, we propose a unified task-driven framework - Compositional Generative Adversarial Network (Comp-GAN) learning to synthesize facial images and thus augmenting the instances of few-shot expression classes. Extensive experiments are conducted on F2ED and existing facial expression datasets, i.e., JAFFE and FER2013, to validate the efficacy of our F2ED in pre-training facial expression recognition network and the effectiveness of our proposed approach Comp-GAN to improve the performance of few-shot recognition tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Disentangled Source-Free Personalization for Facial Expression Recognition with Neutral Target Data
V-NAW: Video-based Noise-aware Adaptive Weighting for Facial Expression Recognition
Biased Heritage: How Datasets Shape Models in Facial Expression Recognition
Navigating Label Ambiguity for Facial Expression Recognition in the Wild
공정성의 얼굴: 안면 표정 인식 데이터셋 및 모델의 바이어스 분석
Faces of Fairness: Examining Bias in Facial Expression Recognition Datasets and Models
자동 안면 표정 인식(Facial Expression Recognition, FER)은 데이터와 모델 설계라는 두 가지 중요한 측면을 포함합니다. 이 두 요소는 FER 작업에서 바이어스(bias)와 공정성(fairness)에 중대한 영향을 미칩니다. 그러나 FER 데이터셋과 모델의 바이어스 및 공정성 관련 문제는 여전히 충분히 연구되지 않았습니다. 본 연구는 FER 데이터셋과 모델의 바이어스 및 공정성을 조사합니다. AffectNet, ExpW, Fer2013, RAF-DB를 포함한 4개의 대표적인 인더와일드(in-the-wild) FER 데이터셋의 바이어스를 분석합니다. 아울러 세 가지 범용 CNN 모델인 MobileNet, ResNet, XceptionNet과 널리 사용되는 두 가지 트랜스포머(Transformer) 기반 모델인 ViT와 CLIP, 그리고 두 가지 FER 특화 최신(SOTA) 모델인 POSTER와 CEPrompt를 포함한 7개 딥러닝 모델의 바이어스와 공정성을 평가합니다. 바이어스의 제한적인 측면만을 조사했던 이전 연구들과 달리, 본 연구는 모델 분석을 위한 4가지 공정성 기준과 기존 5개 및 새롭게 제안된 2개의 데이터셋 지표를 통합한 FER용 통합 평가 프레임워크를 도입합니다. 나아가 기존 척도로는 포착하지 못했던 조건부 의존성과 그룹 내 데이터 불균형을 정량화하도록 설계된 두 가지 새로운 지표인 조건부 엔트로피 바이어스 지수(Conditional-Entropy Bias Index)와 집중도 지수(Concentration Index)를 소개합니다. 실험 결과, 4개 데이터셋 모두에서 특히 인종 측면에서 상당한 인구통계학적 바이어스가 나타났으며, AffectNet이 전반적으로 가장 높은 바이어스를, Fer2013이 가장 낮은 바이어스를 보였습니다. 모델 수준에서는 잔차 기반 CNN 아키텍처(ResNet 및 XceptionNet)가 전반적으로 가장 낮은 바이어스를 나타낸 반면, 트랜스포머 기반 모델(ViT 및 CLIP)은 동등하거나 더 우수한 정확도를 달성함에도 불구하고 가장 높은 바이어스를 보임을 발견했습니다. 이러한 결과는 높은 예측 정확도가 공정성을 보장하지 않으며, 데이터셋 수준과 모델 수준의 바이어스를 개별적이 아닌 통합적으로 함께 다루어야 함을 보여줍니다.
Multimodal Prompt Alignment for Facial Expression Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.