Deep Learning as Feature Encoding for Emotion Recognition
원문 초록
Deep learning is popular as an end-to-end framework extracting the prominent features and performing the classification also. In this paper, we extensively investigate deep networks as an alternate to feature encoding technique of low level descriptors for emotion recognition on the benchmark EmoDB dataset. Fusion performance with such obtained encoded features with other available features is also investigated. Highest performance to date in the literature is observed.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Long-Short Distance Graph Neural Networks and Improved Curriculum Learning for Emotion Recognition in Conversation
Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation
Exploring Remote Physiological Signal Measurement under Dynamic Lighting Conditions at Night: Dataset, Experiment, and Analysis
Infant Cry Emotion Recognition Using Improved ECAPA-TDNN with Multiscale Feature Fusion and Attention Enhancement
CPM-MultiAgent: 의료 대화에서 환자 감정의 동적 변화를 시뮬레이션하기 위한 CPM 기반 평가(appraisal) 프레임워크
CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue
대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.
FIELDS: 직접 지도학습을 통한 표정의 정확한 추론을 갖춘 얼굴 재구성
FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision
단안 3D 얼굴 복원은 단일 이미지로부터 3D 변형 가능 얼굴 모델(3DMM)의 매개변수를 추정하여 얼굴 표정 분석을 위한 명시적 기하 표현을 제공한다. 짝지어진 2D 이미지와 3D 얼굴 메시가 부족하기 때문에 대부분의 방법은 예측된 얼굴을 렌더링하고 입력 이미지에 대한 광도 오차와 랜드마크 오차 같은 이미지 수준 복원 손실을 최소화하는 자기지도 방식으로 학습된다. 그러나 이러한 손실은 시각적 정렬을 강제할 뿐 예측된 매개변수가 정서 정보를 보존함을 보장하지는 않는다. 최근 방법들은 이미지 수준의 감정 일관성 손실을 추가하지만, 이는 얼굴 변형을 과장함으로써 충족될 수 있다. 이러한 문제를 해결하기 위해 우리는 FLAME 매개변수 공간에서 정서 정보를 담은 표정 표현을 학습하는 FIELDS(Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision)를 제안한다. 구체적으로 FIELDS는 2D 자기지도 복원에 스캔 기반 표정 앵커링과 매개변수 공간 감정 손실을 보강한다. 학습 중 스캔에 피팅한 목표값이 표정 관련 FLAME 매개변수를 직접 제약하여 과장된 변형을 억제하고, 함께 학습되는 감정 헤드는 이산 감정과 연속적인 감정가–각성도 주석을 사용하여 예측된 매개변수가 정서 분석에 유용한 정보를 담도록 한다. 실험 결과 FIELDS는 데이터셋 내부 및 데이터셋 간 설정 모두에서 예측된 매개변수의 정서적 효용을 향상시킨다. 특히 강체 정렬과 유사 변환 정렬 모두에서 비교 기준 모델들보다 전반적으로, 그리고 대부분의 얼굴 영역에서 더 낮은 복원 오차를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.