arXiv:2610.06956v1 cs.CL

EMODE: 감정 인식 음성 언어 모델링을 위한 동적 준의미적 전문가

EMODE: Dynamic Para-Semantic Experts for Emotion-Aware Speech Language Modeling

Jianan Pan, Yiwen Gu, Xinze Li, Rui Wang, Kejie Huang

제출 2026-10-03

한국어 초록

대규모 음성 언어 모델은 통합된 크로스모달 이해 및 생성에서 뛰어난 성능을 입증했으나, 준언어적(paralinguistic) 단서, 특히 감정을 보존하는 것은 여전히 어렵습니다. 기존 시스템은 대개 얽힌 음향 표현에 의존하여, 기저의 언어 모델이 음향-운율적 증거에 동작의 기반을 두는(grounding) 대신 복원된 어휘 콘텐츠에 과도하게 의존하게 만듭니다. 본 논문에서는 동적 준의미적 전문가(DPSE, Dynamic Para-Semantic Experts)를 기반으로 구축된 감정 인식 음성 언어 모델인 EMODE를 통해 이러한 한계를 해결합니다. DPSE는 연속적인 음성 특징을 의미적 경로와 준언어적 경로로 분해하고 동적으로 라우팅한 뒤, 언어 모델에 통합하기 전에 이들을 융합합니다. 이러한 구조적 분해를 기능적 전문화로 전환하기 위해, EMODE는 직교 전문가 유도(OEG), 의미-음향 정렬(SAA), 게이팅 다양성 정규화(GDR)의 지도를 받아 의미적 워밍업, 준언어적 활성화, 결합 미세 조정으로 구성된 3단계 커리큘럼으로 학습됩니다. SER 테스트, 공감 반응 평가 및 새롭게 구축된 이중 언어 MEPA 벤치마크 실험 결과, EMODE는 어휘적 충실도와 감정적 민감도 간의 균형을 개선하고, 감정에 기반한 응답 생성을 강화하며, 강건한 코퍼스 간 감정 이해를 위한 명시적 준의미적 요인화(para-semantic factorization)의 가치를 보여줍니다.

원문 초록

Large speech language models have demonstrated strong capabilities in unified cross-modal understanding and generation, yet paralinguistic cues, especially emotion, remain difficult to preserve. Existing systems typically rely on entangled acoustic representations, which allow the underlying language model to depend excessively on recovered lexical content instead of grounding its behavior in acoustic-prosodic evidence. We address this limitation with EMODE, an emotion-aware speech language model built around \textbf{Dynamic Para-Semantic Experts (DPSE)}. DPSE decomposes continuous speech features into semantic and paralinguistic pathways, routes them dynamically, and fuses them before integration into the language model. To turn this structural decomposition into functional specialization, EMODE is trained with a three-stage curriculum consisting of semantic warm-up, paralinguistic activation, and joint refinement, guided by Orthogonal Expert Guidance (OEG), Semantic-to-Acoustic Alignment (SAA), and Gating Diversity Regularization (GDR). Experiments on SER test, empathetic response evaluation, and the newly constructed bilingual MEPA benchmark show that EMODE improves the balance between lexical fidelity and emotional sensitivity, strengthens affect-grounded response generation, and exposes the value of explicit para-semantic factorization for robust cross-corpus emotion understanding.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.06956v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.