arXiv:2211.07737

Describing emotions with acoustic property prompts for speech emotion recognition

Hira Dhamyal, Benjamin Elizalde, Soham Deshmukh, Huaming Wang, Bhiksha Raj, Rita Singh

제출 2022-11-14

원문 초록

Emotions lie on a broad continuum and treating emotions as a discrete number of classes limits the ability of a model to capture the nuances in the continuum. The challenge is how to describe the nuances of emotions and how to enable a model to learn the descriptions. In this work, we devise a method to automatically create a description (or prompt) for a given audio by computing acoustic properties, such as pitch, loudness, speech rate, and articulation rate. We pair a prompt with its corresponding audio using 5 different emotion datasets. We trained a neural network model using these audio-text pairs. Then, we evaluate the model using one more dataset. We investigate how the model can learn to associate the audio with the descriptions, resulting in performance improvement of Speech Emotion Recognition and Speech Audio Retrieval. We expect our findings to motivate research describing the broad continuum of emotion

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26422v1cs.CL공통 태그 Emotion Recognition, Speech Emotion Recognition

대화 맥락을 활용한 음성 감정 표현 보강

Enriching Speech Emotion Representations with Conversational Context

감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.

arXiv:2607.22136v1cs.CL공통 태그 Retrieval, Emotion Recognition

공감적 응답 생성을 위한 동적 상식 조율

Dynamic Commonsense Coordination for Empathetic Response Generation

공감적 응답 생성(Empathetic Response Generation, ERG)은 모델이 사용자의 감정을 인식하고 공감적 응답을 생성해야 한다. 상식 지식이 이러한 추론을 지원하는 것으로 알려져 있지만, 기존 접근법은 이해와 생성 단계 전반에 걸쳐 고정된 상식 표현을 재사용하는 경우가 많아, 서로 다른 단계에서 이러한 지식을 조율하는 능력을 제한한다. 본 연구는 DCC(Dynamic Commonsense Coordination)라는 동적 상식 조율 프레임워크를 제안하며, 이는 세 가지 상호 보완적 모듈로 구성된다: 맥락적·상황적 상식 표현을 통합하는 잔차 기반 상식 상호작용(SCE-AttnRes), 낮은 관련성의 상식 관계 가중치를 낮추는 연관성 기반 상식 필터링(Association-Guided Commonsense Filtering, AGCF), 생성 중 상식 메모리를 동적으로 검색하는 반복적 상식 인지 디코딩(Iterative Commonsense-Aware Decoding, ICAD). Empathetic-Dialogues 벤치마크에서의 실험 결과, DCC는 CEM 기준선 대비 감정 분류 정확도와 응답 다양성을 향상시키면서 perplexity는 유사한 수준을 유지한다. LLM 기반 블라인드 평가는 DCC가 더 나은 관련성, 일관성, 정보성을 갖춘 응답을 생성함을 추가로 보여준다. 코드와 구현 세부사항은 https://github.com/Hanabi-Q/DCC-ERG 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.