Joint Deep Learning of Facial Expression Synthesis and Recognition
원문 초록
Recently, deep learning based facial expression recognition (FER) methods have attracted considerable attention and they usually require large-scale labelled training data. Nonetheless, the publicly available facial expression databases typically contain a small amount of labelled data. In this paper, to overcome the above issue, we propose a novel joint deep learning of facial expression synthesis and recognition method for effective FER. More specifically, the proposed method involves a two-stage learning procedure. Firstly, a facial expression synthesis generative adversarial network (FESGAN) is pre-trained to generate facial images with different facial expressions. To increase the diversity of the training images, FESGAN is elaborately designed to generate images with new identities from a prior distribution. Secondly, an expression recognition network is jointly learned with the pre-trained FESGAN in a unified framework. In particular, the classification loss computed from the recognition network is used to simultaneously optimize the performance of both the recognition network and the generator of FESGAN. Moreover, in order to alleviate the problem of data bias between the real images and the synthetic images, we propose an intra-class loss with a novel real data-guided back-propagation (RDBP) algorithm to reduce the intra-class variations of images from the same class, which can significantly improve the final performance. Extensive experimental results on public facial expression databases demonstrate the superiority of the proposed method compared with several state-of-the-art FER methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Disentangled Source-Free Personalization for Facial Expression Recognition with Neutral Target Data
V-NAW: Video-based Noise-aware Adaptive Weighting for Facial Expression Recognition
Biased Heritage: How Datasets Shape Models in Facial Expression Recognition
Navigating Label Ambiguity for Facial Expression Recognition in the Wild
공정성의 얼굴: 안면 표정 인식 데이터셋 및 모델의 바이어스 분석
Faces of Fairness: Examining Bias in Facial Expression Recognition Datasets and Models
자동 안면 표정 인식(Facial Expression Recognition, FER)은 데이터와 모델 설계라는 두 가지 중요한 측면을 포함합니다. 이 두 요소는 FER 작업에서 바이어스(bias)와 공정성(fairness)에 중대한 영향을 미칩니다. 그러나 FER 데이터셋과 모델의 바이어스 및 공정성 관련 문제는 여전히 충분히 연구되지 않았습니다. 본 연구는 FER 데이터셋과 모델의 바이어스 및 공정성을 조사합니다. AffectNet, ExpW, Fer2013, RAF-DB를 포함한 4개의 대표적인 인더와일드(in-the-wild) FER 데이터셋의 바이어스를 분석합니다. 아울러 세 가지 범용 CNN 모델인 MobileNet, ResNet, XceptionNet과 널리 사용되는 두 가지 트랜스포머(Transformer) 기반 모델인 ViT와 CLIP, 그리고 두 가지 FER 특화 최신(SOTA) 모델인 POSTER와 CEPrompt를 포함한 7개 딥러닝 모델의 바이어스와 공정성을 평가합니다. 바이어스의 제한적인 측면만을 조사했던 이전 연구들과 달리, 본 연구는 모델 분석을 위한 4가지 공정성 기준과 기존 5개 및 새롭게 제안된 2개의 데이터셋 지표를 통합한 FER용 통합 평가 프레임워크를 도입합니다. 나아가 기존 척도로는 포착하지 못했던 조건부 의존성과 그룹 내 데이터 불균형을 정량화하도록 설계된 두 가지 새로운 지표인 조건부 엔트로피 바이어스 지수(Conditional-Entropy Bias Index)와 집중도 지수(Concentration Index)를 소개합니다. 실험 결과, 4개 데이터셋 모두에서 특히 인종 측면에서 상당한 인구통계학적 바이어스가 나타났으며, AffectNet이 전반적으로 가장 높은 바이어스를, Fer2013이 가장 낮은 바이어스를 보였습니다. 모델 수준에서는 잔차 기반 CNN 아키텍처(ResNet 및 XceptionNet)가 전반적으로 가장 낮은 바이어스를 나타낸 반면, 트랜스포머 기반 모델(ViT 및 CLIP)은 동등하거나 더 우수한 정확도를 달성함에도 불구하고 가장 높은 바이어스를 보임을 발견했습니다. 이러한 결과는 높은 예측 정확도가 공정성을 보장하지 않으며, 데이터셋 수준과 모델 수준의 바이어스를 개별적이 아닌 통합적으로 함께 다루어야 함을 보여줍니다.
Multimodal Prompt Alignment for Facial Expression Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.