arXiv:2405.16701

Detail-Enhanced Intra- and Inter-modal Interaction for Audio-Visual Emotion Recognition

Tong Shi, Xuri Ge, Joemon M. Jose, Nicolas Pugeault, Paul Henderson

제출 2024-05-26

원문 초록

Capturing complex temporal relationships between video and audio modalities is vital for Audio-Visual Emotion Recognition (AVER). However, existing methods lack attention to local details, such as facial state changes between video frames, which can reduce the discriminability of features and thus lower recognition accuracy. In this paper, we propose a Detail-Enhanced Intra- and Inter-modal Interaction network(DE-III) for AVER, incorporating several novel aspects. We introduce optical flow information to enrich video representations with texture details that better capture facial state changes. A fusion module integrates the optical flow estimation with the corresponding video frames to enhance the representation of facial texture variations. We also design attentive intra- and inter-modal feature enhancement modules to further improve the richness and discriminability of video and audio representations. A detailed quantitative evaluation shows that our proposed model outperforms all existing methods on three benchmark datasets for both concrete and continuous emotion recognition. To encourage further research and ensure replicability, we will release our full code upon acceptance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.28083v1cs.CV공통 태그 Emotion Recognition, Optical Flow Estimation

STAG: 미세표정 인식을 위한 액션 유닛의 시공간 진화 구조 표현

STAG: Spatio-temporal Evolving Structural Representation of Action Units for Micro-expression Recognition

미세표정 인식은 미묘하고 짧게 지속되는 안면 근육 움직임 때문에 어렵다. 기존 방법은 apex-onset 프레임에 크게 의존하고, 세밀한 프레임 간 역학을 간과하며, 공간 정보와 시간 정보를 별도로 모델링하여 데이터셋 간 일반화를 제한한다. 이러한 과제를 해결하기 위해, 우리는 움직임 흐름과 적응적 안면 연결성을 공동으로 모델링하는 동적 ROI-AU 결합 시공간 네트워크인 STAG를 제안한다. 해당 프레임워크는 크기 기반 선택과 시간 어텐션을 사용하여 판별적 프레임에서 광학 흐름(optical flow)을 추출한다. 이중 분기 아키텍처는 구조화된 공간 추론을 위한 향상된 그래프 어텐션 네트워크와 시간 모델링을 위한 트랜스포머 인코더를 결합한다. 양방향 교차 어텐션 모듈은 공간 특징과 시간 특징의 상호 정제를 가능하게 하며, AU 유도 동적 연결성은 근육 활성화 패턴에 따라 안면 영역 상호작용을 적응한다. 트랜스포머는 apex 기반 접근법을 넘어 미묘한 시간 역학을 포착하여, 설명 가능한 미세표정 인식을 위한 의미적 일관성과 해석 가능성을 향상시킨다. 융합된 표현은 focal 손실을 사용하여 최적화되며, CASME II, 4DME, DFME, NaME, SAMM, SMIC-HS에서 평가된다. 광범위한 실험은 향상된 견고성, 일반화, 해석 가능성, 계산 효율성을 보여주며, 정확한 교차 데이터셋 미세표정 인식을 위한 적응적 관계 추론, AU 유도 동적 연결성, 깊은 시공간 특징 융합의 효과를 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.