Gaussian-smoothed Imbalance Data Improves Speech Emotion Recognition
원문 초록
In speech emotion recognition tasks, models learn emotional representations from datasets. We find the data distribution in the IEMOCAP dataset is very imbalanced, which may harm models to learn a better representation. To address this issue, we propose a novel Pairwise-emotion Data Distribution Smoothing (PDDS) method. PDDS considers that the distribution of emotional data should be smooth in reality, then applies Gaussian smoothing to emotion-pairs for constructing a new training set with a smoother distribution. The required new data are complemented using the mixup augmentation. As PDDS is model and modality agnostic, it is evaluated with three SOTA models on the IEMOCAP dataset. The experimental results show that these models are improved by 0.2\% - 4.8\% and 1.5\% - 5.9\% in terms of WA and UA. In addition, an ablation study demonstrates that the key advantage of PDDS is the reasonable data distribution rather than a simple data augmentation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대화 맥락을 활용한 음성 감정 표현 보강
Enriching Speech Emotion Representations with Conversational Context
감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.
합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강
Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning
음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.
미세표정 인식을 위한 행동 단위(AU) 기반 합성 비디오 생성
AU-Guided Synthetic Video Generation for Micro-Expression Recognition
미세표정 인식은 기존 데이터셋의 소규모, 좁은 인구통계학적 범위, 제한된 감정 레이블로 인해 한계가 있다. 우리는 AU 기반 이미지-투-비디오 생성으로 구축된 합성 미세표정 데이터셋인 EquiME를 소개한다. EquiME는 다섯 가지 목표 감정에 걸쳐 15K개의 소스 얼굴 이미지로부터 생성된 75K개의 비디오를 포함하며, 자동으로 추론된 인구통계학적 메타데이터와 비디오 품질 측정값도 함께 제공된다. 우리는 프레임 쌍 유사도, 공간 변화, 무참조 지각 품질 메트릭과 함께 SAMM 및 CASME II에 대한 교차 데이터셋 미세표정 인식(MER) 실험을 통해 EquiME를 평가한다. EquiME로 학습된 모델은 SAMM 및 CASME II에서 경쟁력 있는 교차 데이터셋 성능을 달성하며, 평가된 네 가지 아키텍처 전반에 걸쳐 비교적 낮은 변동성을 보인다. 본 논문은 데이터셋 설계, 비디오 생성에 사용된 구조화된 AU 조건화 파이프라인, 그리고 EquiME를 합성 MER 자원으로 평가하는 데 필요한 실증적 근거에 초점을 맞춘다. 프로젝트 페이지: https://kirito-blade.github.io/me-vlm/
Unlocking the Emotional States of High-Risk Suicide Callers through Speech Analysis
CNN-n-GRU: end-to-end speech emotion recognition from raw waveform signal using CNNs and gated recurrent unit networks
CoordViT: A Novel Method of Improve Vision Transformer-Based Speech Emotion Recognition using Coordinate Information Concatenate
토론
이 논문과 연결된 포럼 글이 아직 없습니다.