arXiv:2404.12260

Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models

Israel A. Laurensi, Alceu de Souza Britto Jr., Jean Paul Barddal, Alessandro Lameiras Koerich

제출 2024-04-18

원문 초록

Facial expression recognition is a pivotal component in machine learning, facilitating various applications. However, convolutional neural networks (CNNs) are often plagued by catastrophic forgetting, impeding their adaptability. The proposed method, emotion-centered generative replay (ECgr), tackles this challenge by integrating synthetic images from generative adversarial networks. Moreover, ECgr incorporates a quality assurance algorithm to ensure the fidelity of generated images. This dual approach enables CNNs to retain past knowledge while learning new tasks, enhancing their performance in emotion recognition. The experimental results on four diverse facial expression datasets demonstrate that incorporating images generated by our pseudo-rehearsal method enhances training on the targeted dataset and the source dataset while making the CNN retain previously learned knowledge.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2511.21245v4cs.CV공통 태그 Emotion Recognition, Facial Expression Recognition

FIELDS: 직접 지도학습을 통한 표정의 정확한 추론을 갖춘 얼굴 재구성

FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

단안 3D 얼굴 복원은 단일 이미지로부터 3D 변형 가능 얼굴 모델(3DMM)의 매개변수를 추정하여 얼굴 표정 분석을 위한 명시적 기하 표현을 제공한다. 짝지어진 2D 이미지와 3D 얼굴 메시가 부족하기 때문에 대부분의 방법은 예측된 얼굴을 렌더링하고 입력 이미지에 대한 광도 오차와 랜드마크 오차 같은 이미지 수준 복원 손실을 최소화하는 자기지도 방식으로 학습된다. 그러나 이러한 손실은 시각적 정렬을 강제할 뿐 예측된 매개변수가 정서 정보를 보존함을 보장하지는 않는다. 최근 방법들은 이미지 수준의 감정 일관성 손실을 추가하지만, 이는 얼굴 변형을 과장함으로써 충족될 수 있다. 이러한 문제를 해결하기 위해 우리는 FLAME 매개변수 공간에서 정서 정보를 담은 표정 표현을 학습하는 FIELDS(Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision)를 제안한다. 구체적으로 FIELDS는 2D 자기지도 복원에 스캔 기반 표정 앵커링과 매개변수 공간 감정 손실을 보강한다. 학습 중 스캔에 피팅한 목표값이 표정 관련 FLAME 매개변수를 직접 제약하여 과장된 변형을 억제하고, 함께 학습되는 감정 헤드는 이산 감정과 연속적인 감정가–각성도 주석을 사용하여 예측된 매개변수가 정서 분석에 유용한 정보를 담도록 한다. 실험 결과 FIELDS는 데이터셋 내부 및 데이터셋 간 설정 모두에서 예측된 매개변수의 정서적 효용을 향상시킨다. 특히 강체 정렬과 유사 변환 정렬 모두에서 비교 기준 모델들보다 전반적으로, 그리고 대부분의 얼굴 영역에서 더 낮은 복원 오차를 달성한다.

arXiv:2606.30611v3cs.CV공통 태그 Emotion Recognition, Facial Expression Recognition

안면 표정 이해를 위한 비디오 트랜스포머의 프레임별 어텐션 재가중

Reweighting Framewise Attention in Video Transformers for Facial Expression Understanding

비디오에서 안면 표정을 이해하려면 비제약 환경에서 미세하고 국소적인 얼굴 동작을 모델링해야 한다. 최근 Vision Transformer(ViT) 기반 비디오 모델들이 대규모 자기지도 사전학습을 통해 높은 성능을 보이고 있으나, 이들의 어텐션 메커니즘은 지배적인 전역 움직임과 거친 시간적 동역학을 강조하는 경향이 있어 미세한 얼굴 변화에 대한 민감도가 제한된다. 이러한 한계를 해결하기 위해, 우리는 MiRA(Marginal-induced Attention Redistribution)를 제안한다. MiRA는 추가적인 학습 가능한 파라미터 없이 미세한 얼굴 동작에 대한 시공간적 선택성을 향상시키는 ViT 백본용 플러그인 프레임 마진 어텐션 재분배 프레임워크이다. MiRA는 셀프 어텐션 맵으로부터 프레임 수준의 신뢰도와 프레임 내 집중 통계를 도출하여 프레임별 마진 중요도를 추정하고, 시공간적으로 국소화된 얼굴 단서 방향으로 어텐션을 재분배한다. 먼저 소프트맥스 이후 어텐션 재분배에 기반한 원칙적인 정확 모드(exact mode)를 도입한다. 효율성을 더욱 높이기 위해, 프레임 마진 재분배를 FlashAttention 커널에 통합하면서 정확 공식의 효과를 유지하는 경량 소프트맥스 이전 근사 방식인 flashLite 모드를 제안한다. 난이도 높은 안면 표정 인식(FER) 벤치마크에서의 실험 결과, 강력한 ViT 기준 모델 대비 일관된 성능 향상이 확인되었다.

arXiv:2605.19821v2cs.CV공통 태그 Emotion Recognition, Facial Expression Recognition

LaCoVL-FER: 얼굴 표정 인식을 위한 랜드마크 기반 대조 학습 네트워크와 비전-언어 강화

LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition

실제 환경에서의 얼굴 표정 인식(FER)은 포즈, 가림, 조명, 개인 차이 등의 큰 변동 속에서 미세한 표정 단서를 식별하는 모델을 요구한다. 최근의 FER 방법들은 시각적 어텐션, 얼굴 랜드마크, 또는 비전-언어 모델을 보조 사전 정보로 도입하여 강건성을 향상시킨다. 그러나 이러한 사전 정보는 일반적으로 정적인 방식으로 통합되어 인스턴스별 얼굴 변동을 포착하지 못하며, 이로 인해 심각한 어텐션 중복과 표현 불안정 문제가 발생한다. 이 문제를 해결하기 위해, 우리는 FER을 정적 사전 정보 주입에서 샘플 적응형 사전 정보 정제로 전환하는 비전-언어 강화를 갖춘 랜드마크 기반 대조 학습 네트워크인 LaCoVL-FER을 제안한다. 구체적으로, 랜드마크 기반 적응형 인코더(LGAE)는 이중 분기 게이트 교차 어텐션(BGCA)을 통해 지역적 외관 특징을 랜드마크 기하 구조로 보정하여 잡음 응답을 억제하고 표정 관련 표현을 생성한다. 병렬로, 비전-언어 강화 전략(VLES)은 동결된 CLIP 이미지 인코더로부터 일반화 가능한 시각적 특징을 표정 특화 시각적 표현으로 정제한다. 이를 기반으로, 표정 조건부 프롬프팅(ECP) 메커니즘은 동결된 CLIP 텍스트 인코더의 고정된 클래스 수준 텍스트 프롬프트를 인스턴스 인식 텍스트 표현으로 적응시킨다. 결과적으로 생성된 시각-텍스트 표현은 강건성과 일반화를 향상시키기 위한 적응형 의미론적 사전 정보로 정렬된다. 정량적 및 정성적 실험을 통해 LaCoVL-FER이 RAF-DB, FERPlus, AffectNet에서 최신 방법들을 능가함을 보인다. 코드는 https://github.com/ylin06804/LaCoVL-FER에서 확인할 수 있다.

arXiv:2606.07063v1eess.IV공통 태그 Emotion Recognition, Facial Expression Recognition

보편성을 넘어: 동적 얼굴 표정 인식을 위한 GCC-FER 데이터셋과 문화 인식 적응

Beyond Universality: The GCC-FER Dataset and Culture-Aware Adaptation for Dynamic Facial Expression Recognition

동적 얼굴 표정 인식(Dynamic Facial Expression Recognition, DFER)은 정서 컴퓨팅(affective computing), 인간-컴퓨터 상호작용, 지능형 멀티미디어 시스템에서 핵심적인 기술이다. 문화적 뉘앙스가 FER 성능에 미치는 상당한 영향에도 불구하고, 기존 대부분의 FER 시스템은 감정 표현이 인구 집단 전반에 걸쳐 보편적으로 일관된다고 가정한다. 이러한 변이는 문화 간 얼굴 근육 활성화 패턴의 체계적 차이에 기인할 수 있다. 교차 문화적 FER 발전의 주요 난제는 문화적으로 다양한 벤치마크 데이터셋의 부족에 있다. 이를 해결하기 위해 Global Cross-Cultural Facial Expression Recognition(GCC-FER)이라는 새로운 하이브리드 다문화 비디오 데이터셋이 제안된다. GCC-FER는 7가지 기본 표정에 걸친 4개 문화 집단(아프리카, 백인, 동아시아, 남아시아)의 23,934개 비디오 샘플로 구성되며, 저대표 인구 집단을 위한 심리학적 감독 하의 자체 데이터 수집과 기존 출처에 대한 엄격한 민족성 필터링을 결합한다. 저희가 아는 한, GCC-FER는 이러한 인구통계학적 격차를 해소하기 위해 설계된 최초의 대규모 글로벌 교차 문화 DFER 데이터셋이다. 이 데이터셋을 활용하여 각 문화 집단에 대한 행동적으로 근거 있는 문화적 사전(prior)과 실용적 배포를 위한 글로벌 사전이 도출된다. 문화적 바이어스를 완화하기 위해 잠재적 얼굴 표현을 적응적으로 재보정하는 Culture-Aware FER(CA-FER) 시스템이 제안된다. GCC-FER와 DFEW에 대한 광범위한 실험은 제안된 시스템이 다문화 환경 전반에서 FER 성능을 지속적으로 향상시킴을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.