arXiv:2309.06928

Dynamic Causal Disentanglement Model for Dialogue Emotion Detection

Yuting Su, Yichen Wei, Weizhi Nie, Sicheng Zhao, AnAn Liu

제출 2023-09-13

원문 초록

Emotion detection is a critical technology extensively employed in diverse fields. While the incorporation of commonsense knowledge has proven beneficial for existing emotion detection methods, dialogue-based emotion detection encounters numerous difficulties and challenges due to human agency and the variability of dialogue content.In dialogues, human emotions tend to accumulate in bursts. However, they are often implicitly expressed. This implies that many genuine emotions remain concealed within a plethora of unrelated words and dialogues.In this paper, we propose a Dynamic Causal Disentanglement Model based on hidden variable separation, which is founded on the separation of hidden variables. This model effectively decomposes the content of dialogues and investigates the temporal accumulation of emotions, thereby enabling more precise emotion recognition. First, we introduce a novel Causal Directed Acyclic Graph (DAG) to establish the correlation between hidden emotional information and other observed elements. Subsequently, our approach utilizes pre-extracted personal attributes and utterance topics as guiding factors for the distribution of hidden variables, aiming to separate irrelevant ones. Specifically, we propose a dynamic temporal disentanglement model to infer the propagation of utterances and hidden variables, enabling the accumulation of emotion-related information throughout the conversation. To guide this disentanglement process, we leverage the ChatGPT-4.0 and LSTM networks to extract utterance topics and personal attributes as observed information.Finally, we test our approach on two popular datasets in dialogue emotion detection and relevant experimental results verified the model's superiority.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27615v1cs.AI공통 태그 Emotion Recognition, Disentanglement

BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합

BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport

멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.

arXiv:2609.14570v2cs.CL공통 태그 Emotion Recognition, Disentanglement

다국어 저자원 감정 탐지를 위한 멀티 에이전트 LLM에서 토폴로지와 다양성의 분리 분석

Disentangling Topology and Diversity in Multi-Agent LLMs for Multilingual Low-Resource Emotion Detection

멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.

arXiv:2607.23840v1cs.CV공통 태그 Emotion Recognition, Disentanglement

STEER: 조향 가능한 대화형 헤드 아바타

STEER: Steerable Dyadic Head Avatars

얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.

arXiv:2607.02674v1cs.CV공통 태그 Emotion Recognition, Disentanglement

EmoteGPT: 자연어 설명으로부터 생성하는 3D 인간 표정

EmoteGPT: 3D Human Facial Expressions from Natural Language Descriptions

텍스트로부터 3D 표정을 정밀하게 제어하는 것은 가상 아바타, 애니메이션, 인간-컴퓨터 상호작용에서 매우 중요하지만, 기존의 텍스트-3D 방법들은 정체성, 표정, 텍스처를 함께 생성하기 때문에 세밀한 표정 제어가 어렵다. 우리는 대신 텍스트 기반 표정 합성을 3D 변형 가능 모델(3DMM)의 분리된 매개변수 공간에서의 회귀 문제로 정식화한다. 그러나 이 설정은 세부적인 언어를 정밀한 표정 매개변수와 연결하는 쌍 데이터를 필요로 하며, 기존 자원에는 이러한 데이터가 없다. 이 공백을 채우기 위해, 우리는 GPT-4o와 고충실도 얼굴 추적기로부터 획득한 세밀한 텍스트 주석이 포함된 다양한 3D 표정 벤치마크인 Txt2Emote를 소개한다. 이 벤치마크는 얼굴 특징을 상세히 설명하는 명시적 설명과 표정 뒤의 상황적 맥락을 참조하는 암묵적 설명을 모두 제공한다. 이 데이터셋을 활용하여, 우리는 표정 표현을 의미론적으로 그라운딩하기 위한 전용 <Expr> 토큰을 갖춘 멀티모달 대규모 언어 모델(MLLM) 기반의 텍스트-3D 표정 프레임워크인 EmoteGPT를 제시하며, 이를 통해 3DMM 매개변수로 디코딩한다. 우리는 대규모 이미지-3DMM 데이터를 학습에 증강하여 EmoteGPT를 더욱 개선하고, 감정 인식 지표와 표현력 지각 측면에서 최신 텍스트-3D 얼굴 합성 방법들을 능가할 수 있게 한다. 아바타 파이프라인에 통합된 우리의 방법은 포토리얼리스틱 및 스타일화된 3D 아바타뿐만 아니라 텍스트 입력으로부터 표현력 있는 3D 일관 2D 얼굴 합성을 가능하게 한다.

arXiv:2606.31128v1cs.SD공통 태그 Emotion Recognition, Disentanglement

UniSAE: 이산 음성학적 사후그램 모델링을 통한 화자, 감정 및 저수준 내용에 대한 통합 음성 속성 편집

UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling

음성 편집(speech editing)은 발화의 특정 부분을 수정하면서 나머지 음성은 보존하는 것을 목표로 한다. 기존 접근법은 주로 단어 수준의 내용 수정에 초점을 맞추며, 내용·화자·감정 편집을 별도의 작업으로 처리하는 경우가 많아 편집 세분성과 유연성이 제한된다. 우리는 단일 아키텍처 내에서 음소 이하(sub-phoneme) 수준부터 단어 수준까지 조합 가능한 화자, 감정 및 내용 편집을 지원하는 통합 음성 속성 편집 프레임워크인 UniSAE를 제안한다. UniSAE는 음소 정체성, 발음 변이, 지속 시간을 인코딩하는 이산 토큰으로 음성 내용을 분해하는 이산 음성학적 사후그램(Discrete Phonetic PosteriorGram, DPPG) 표현을 도입하여, 직접적인 음소 및 음소 이하 수준의 편집을 가능하게 한다. 더 높은 수준의 수정을 위해서는 자기회귀 내용 트랜스포머가 단어 수준 내용 편집을 위한 수정된 DPPG 시퀀스를 예측한다. 수정된 시퀀스는 분리된 화자 및 감정 표현을 조건으로 하는 확산 기반 음향 디코더에 의해 음성으로 렌더링된다. 실험 결과, 제안된 통합 프레임워크가 정밀한 화자 및 감정 제어, 다양한 세분성 수준에서의 내용 편집, 그리고 단일 프레임워크 내에서 세 가지 속성 모두의 공동 수정을 지원함을 보여준다.

arXiv:2606.27652v1cs.AI공통 태그 Emotion Recognition, Disentanglement

MER-R1: 느린-빠른 사고 시너지를 통한 다중 모달 감정 추론

MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thinking Synergy

명시적 추론이 예측을 더 해석 가능하게 만들더라도, 다중 모달 감정 인식(MER) 정확도를 반드시 향상시키지는 않는다는 것을 발견했다. 구체적으로, 추론 기반 MLLM에서 직접적인 답을 유도하는 빠른 사고(fast thinking)는 숙고적 추론 이후의 느린 사고(slow thinking)보다 종종 더 우수한 성능을 보인다. 경험적 분석 결과, 빠른 사고는 더 넓고 확신 있는 예측으로 재현율을 높이는 반면, 느린 사고는 부정확한 범주를 보수적으로 걸러내어 정밀도를 높이는 경향이 있다. 이러한 통찰을 바탕으로, 느린-빠른 상호보완을 명시적 최적화로 전환하는 강화학습 프레임워크인 MER-R1을 제안한다. 이중 목표 분리(dual-objective disentanglement)는 재현율과 정밀도를 두 개의 최적화 신호로 분리하여, 서로 트레이드오프하는 대신 공동으로 최적화할 수 있게 한다. 느린-빠른 신뢰도 보정(slow-fast confidence calibration)은 최종 느린 사고 답변을 빠른 사고의 직관과 더 잘 정렬하여, 올바른 감정은 강화하고 잘못된 감정은 억제한다. 이를 통해 MER-R1은 빠른 사고의 재현율 지향적 직관과 느린 사고의 정밀도 지향적 선택성을 통합한다. 또한 이 시너지에 대한 이론적 정당성을 제시하며, 최적화 과정에서 분산으로 인한 간섭을 완화함을 보인다. MER-UniBench와 MME-Emotion에 대한 광범위한 실험에서 MER-R1은 최첨단(state-of-the-art) 성능을 달성하며, 추론이 실질적으로 감정 인식에 도움이 되도록 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.