Reevaluating Data Partitioning for Emotion Detection in EmoWOZ
원문 초록
This paper focuses on the EmoWoz dataset, an extension of MultiWOZ that provides emotion labels for the dialogues. MultiWOZ was partitioned initially for another purpose, resulting in a distributional shift when considering the new purpose of emotion recognition. The emotion tags in EmoWoz are highly imbalanced and unevenly distributed across the partitions, which causes sub-optimal performance and poor comparison of models. We propose a stratified sampling scheme based on emotion tags to address this issue, improve the dataset's distribution, and reduce dataset shift. We also introduce a special technique to handle conversation (sequential) data with many emotional tags. Using our proposed sampling method, models built upon EmoWoz can perform better, making it a more reliable resource for training conversational agents with emotional intelligence. We recommend that future researchers use this new partitioning to ensure consistent and accurate performance evaluations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SpeechEQ: 사회적 인식을 갖춘 음성 대화 모델의 감성 지능 지수 벤치마킹
SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models
멀티모달 대화 시스템이 음성 상호작용에 점점 더 많이 참여함에 따라, 준언어적 사회 신호를 다루는 능력이 자연스러운 인간-AI 소통의 핵심 병목이 되었다. 그러나 기존의 기계 감성 지능 평가는 고립된 텍스트나 수동적인 음향 인식을 통해서만 추론을 평가하여, 능동적인 다중 턴 대화에 필요한 복잡한 교차 모달 추론을 간과한다. 우리는 음성-언어 모델(SLM)의 사회언어학적 추론을 평가하기 위해 설계된 포괄적 프레임워크인 \textsc{SpeechEQ}를 소개한다. 이 프레임워크는 EQ-i 2.0 이론에 기반한 15개 감성 지능(EQ) 하위 척도에 걸친 2,265개 대화로 구성된 검증된 데이터셋과, 인간 EQ 평가에서 착안하여 제안한 음성 EQ(SEQ) 점수로 측정되는 다중 턴 평가 프로토콜을 포함한다. 실험은 기존 음성 감정 인식과 종단간 음성-언어 모델 모두가 음성을 통한 준언어적 단서를 이해하고 적용하는 방식에 한계가 있음을 보여준다. 종단간 아키텍처가 캐스케이드 시스템보다 우수하지만, \textsc{SpeechEQ}는 현재의 멀티모달 모델이 텍스트에 의존하는 ``모달리티 지름길'', 정렬로 인해 유발되는 ``안전 함정'', 그리고 ``맥락 건망증''에 여전히 병목이 있음을 드러내며, 진정으로 감성을 인식하는 AI로 나아가는 데 장벽이 있음을 부각한다. 우리의 벤치마크는 https://huggingface.co/datasets/SpeechEQ/SpeechEQ 에서, 데모 페이지는 https://speecheq.github.io 에서 접근할 수 있다.
PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합
PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models
감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.
Long-Short Distance Graph Neural Networks and Improved Curriculum Learning for Emotion Recognition in Conversation
Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation
Exploring Remote Physiological Signal Measurement under Dynamic Lighting Conditions at Night: Dataset, Experiment, and Analysis
RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents
토론
이 논문과 연결된 포럼 글이 아직 없습니다.