arXiv:2610.40883v1 cs.AI

오디오 거대 언어 모델의 멀티모달 음성 감정 인식에 대한 불일치 인식 평가

Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models

Fengji Jing, Guy Laban

제출 2026-11-02

한국어 초록

음성 상호작용형 거대 언어 모델은 화자가 무엇을 말하는지와 어떻게 말하는지를 모두 처리하지만, 두 채널이 항상 일치하는 것은 아니다. 우리는 이러한 불일치가 음성 감정 인식을 저하시키는지 묻는다. 텍스트와 오디오를 공유된 감정가-각성도-지배도 공간에 사상하고, 두 표현 사이의 거리를 2성분 가우시안 혼합을 통해 연속적이고 임계값이 없는 불일치 점수로 변환하며, 이 점수를 인간의 판단에 대해 검증한다. 우리는 연기된 음성, 대화 음성, 자발적 음성(eNTERFACE'05, MELD, CMU-MOSEI)에 대해 오디오를 처리할 수 있는 세 모델을 평가한다. 모달리티 전반에서 모델을 고정했을 때, 정답 감정과 특징 공간에서의 거리를 통제한 후에도 오디오가 존재하는 한 모든 코퍼스에서 불일치가 오류의 오즈를 높인다. 동일한 특징으로 학습한 지도 분류기는 반대로 행동하는데, 이는 어려움이 신호 자체가 아니라 이들 모델이 원시 증거를 결합하는 방식에 있음을 시사한다. 텍스트 전용 효과는 신뢰할 수 없다. 전사문을 읽는 모델만 교체해도 한 코퍼스에서 그 부호가 뒤바뀐다. 감정 어휘 사전 없이 점수를 재구성해도 핵심 결과가 재현되며, 여섯 가지 더 단순한 대안 중에서는 세 코퍼스 모두에서 오류를 예측하는 유일한 무레이블 점수이다. 코드, 데이터 표, 프롬프트를 공개한다.

원문 초록

Voice-interactive large language models process both what a speaker says and how they say it, yet the two channels do not always agree. We ask whether that disagreement degrades speech emotion recognition. Mapping text and audio into a shared valence-arousal-dominance space, we convert the distance between them into a continuous, threshold-free incongruence score with a two-component Gaussian mixture, and validate the score against human judgement. We evaluate three audiocapable models on acted, conversational and spontaneous speech (eNTERFACE'05, MELD and CMU-MOSEI). With the model held constant across modalities, incongruence raises the odds of error whenever audio is present, in every corpus, after controlling for the ground-truth emotion and for distance in the feature space. Supervised classifiers trained on the same features behave in the opposite way, which suggests that the difficulty lies in how these models combine raw evidence rather than in the signal itself. Text-only effects are unreliable: swapping only the model that reads the transcript reverses their sign on one corpus. Rebuilding the score without the emotion lexicon reproduces the central result, and among six simpler alternatives it is the only label-free score that predicts error in all three corpora. Code, data tables and prompts are released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.40883v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.