arXiv:1611.05675

Study on Feature Subspace of Archetypal Emotions for Speech Emotion Recognition

Xi Ma, Zhiyong Wu, Jia Jia, Mingxing Xu, Helen Meng, Lianhong Cai

제출 2016-11-17

원문 초록

Feature subspace selection is an important part in speech emotion recognition. Most of the studies are devoted to finding a feature subspace for representing all emotions. However, some studies have indicated that the features associated with different emotions are not exactly the same. Hence, traditional methods may fail to distinguish some of the emotions with just one global feature subspace. In this work, we propose a new divide and conquer idea to solve the problem. First, the feature subspaces are constructed for all the combinations of every two different emotions (emotion-pair). Bi-classifiers are then trained on these feature subspaces respectively. The final emotion recognition result is derived by the voting and competition method. Experimental results demonstrate that the proposed method can get better results than the traditional multi-classification method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26422v1cs.CL공통 태그 Emotion Recognition, Speech Emotion Recognition

대화 맥락을 활용한 음성 감정 표현 보강

Enriching Speech Emotion Representations with Conversational Context

감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.

arXiv:2606.07309v1cs.SD공통 태그 Emotion Recognition, Speech Emotion Recognition

음성 감정 인식을 위한 오디오 언어 모델에서의 음향 단서 정렬

Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition

명령어 수행 오디오 언어 모델(Audio Language Models, ALM)은 명시적인 음향 단서로 확장될 수 있으나, 원본 오디오가 이미 존재할 때 이러한 단서가 그라운딩된 방식으로 사용되는지는 여전히 불분명합니다. 본 연구는 표준화된 eGeMAPS 언어 외적 특징 세트에서 6개의 해석 가능한 음향 개념 토큰을 도출하여 음성 감정 인식(Speech Emotion Recognition, SER)에서 이 문제를 연구합니다. 이러한 토큰은 에너지, 피치, 역학, 밝기, 포먼트 및 음질을 요약하며, 오디오 입력은 변경하지 않은 상태로 텍스트 프롬프트에 추가됩니다. 널리 사용되는 FAU-Aibo 및 IEMOCAP 벤치마크에서 정렬된 토큰은 가중치 없는 평균 재현율(Unweighted Average Recall, UAR)을 향상시키는 반면, 섞이거나(shuffled), 충돌하거나, 손상된 토큰은 정렬된 토큰 대비 성능을 저하시키고 혼동을 중립 쪽으로 이동시킵니다. 중요하게도, 강력한 토큰 섭동 하에서도 예측이 붕괴되지 않는데, 이는 모델이 기호적 단서 채널에 민감하면서도 오디오 신호에 부분적으로 고정(anchored)되어 있음을 시사합니다. 우리는 토큰 전용 개입이 ALM 기반 감성 컴퓨팅에서 오디오 기반 단서 활용, 견고성, 해석 가능성을 탐색할 수 있는 실용적인 방법을 제공한다고 주장합니다.

arXiv:2606.06550v1cs.SD공통 태그 Emotion Recognition, Speech Emotion Recognition

자기지도 음성 감정 인식을 위한 기하학적 2차 특징 상관 학습

Geometric Second-Order Feature Correlation Learning for Self-Supervised Speech Emotion Recognition

자기지도 학습(SSL)은 음성 감정 인식(SER)에 강력하고 문맥이 풍부한 표현을 제공하지만, 이러한 표현을 전체적인 서술자로 집계하는 것은 여전히 병목이다. 기존의 1차 집계는 암묵적으로 특징 독립성을 가정하여, 잠재적인 Riemannian 기하학을 간과하고 백본의 표현력에 필수적인 고차 관계를 버린다. 이 문제를 해결하기 위해, 본 논문은 새로운 2차 상관(Second-Order Correlation, SOC) 층을 제안한다. SOC는 특징을 고립적으로 취급하는 대신, 특징 상관을 공분산 서술자로 모델링하여 시너지적 공발생 패턴을 포착하고, 이는 강건한 감정 인식을 위한 판별적 시그니처로 작용한다. Log-Euclidean mapping(LEM)을 통해 Riemannian 다양체에서 Euclidean 접공간으로 이러한 서술자를 매핑함으로써, 제안 방법은 기하학적 무결성을 유지하면서 직접적인 선형 판별 학습을 가능하게 한다. ESD 및 RAVDESS 데이터셋에 대한 광범위한 실험은 SOC가 1차 풀링에서 손실된 판별 정보를 복원하고 고차원 SSL 특징을 효과적으로 집계함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.