On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era
원문 초록
Text encodings from automatic speech recognition (ASR) transcripts and audio representations have shown promise in speech emotion recognition (SER) ever since. Yet, it is challenging to explain the effect of each information stream on the SER systems. Further, more clarification is required for analysing the impact of ASR's word error rate (WER) on linguistic emotion recognition per se and in the context of fusion with acoustic information exploitation in the age of deep ASR systems. In order to tackle the above issues, we create transcripts from the original speech by applying three modern ASR systems, including an end-to-end model trained with recurrent neural network-transducer loss, a model with connectionist temporal classification loss, and a wav2vec framework for self-supervised learning. Afterwards, we use pre-trained textual models to extract text representations from the ASR outputs and the gold standard. For extraction and learning of acoustic speech features, we utilise openSMILE, openXBoW, DeepSpectrum, and auDeep. Finally, we conduct decision-level fusion on both information streams -- acoustics and linguistics. Using the best development configuration, we achieve state-of-the-art unweighted average recall values of $73.6\,\%$ and $73.8\,\%$ on the speaker-independent development and test partitions of IEMOCAP, respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Leveraging Pre-Trained Acoustic Feature Extractor For Affective Vocal Bursts Tasks
얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정
When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models
음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.
대화 맥락을 활용한 음성 감정 표현 보강
Enriching Speech Emotion Representations with Conversational Context
감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.
모델의 눈을 열다: 비디오 및 문맥 인식 멀티모달 백채널 예측
Open Your Model's Eyes: Video and Context-Aware Multimodal Backchannel Prediction
백채널(backchannel)은 공감과 이해와 같은 청자의 상태를 나타내며, 자연스러운 인간 상호작용의 기본 요소이다. 그러나 현재 접근법은 오디오와 텍스트에만 의존한다. 이는 정확한 예측에 필요한 표정과 제스처와 같은 중요한 시각적 단서뿐만 아니라 더 넓은 대화 문맥을 누락한다. 본 논문에서는 Multi-Layer Multimodal Alignment(MMA)를 통해 시각 정보를 활용하는 새로운 프레임워크인 Context-Aware Multimodal Alignment for Backchannel Prediction(CAMA-BC)을 제안한다. 정렬(alignment) 과정은 두 단계로 구성된다. 먼저 Context Alignment(MMA-CA)는 비디오가 포함된 라벨 없는 대화를 활용하여 대화 문맥을 포착한다. 다음으로 Backchannel Alignment(MMA-BA)는 백채널 예측을 위해 표현을 특화적으로 파인튜닝(fine-tuning)한다. 실험 결과, CAMA-BC는 기존 방법과 단순한 멀티모달 베이스라인 모두를 크게 능가하며, 공감과 같은 복잡한 백채널을 인식하는 데 특히 효과적임을 보여준다.
품질 인식 다중모달 융합이 정서-각성 특징 속 암묵적 신원을 드러냄
Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features
기존 얼굴 인식은 정적 외모 단서에 의존하며, 표정 변화, 가림, 조명 불량이 있는 비제약 환경에서 성능이 저하된다. 우리는 시청각 표정 역학이 정적 외모를 보완하는 신원 구별 정보를 담고 있으며, 이러한 신호를 추출하려면 in-the-wild 영상의 가변적 입력 품질에 강건한 다중모달 표현이 필요하다고 가설을 세운다. 이러한 표현을 학습하기 위해 다중모달 정서-각성(valence-arousal, VA) 추정을 사전과제(pretext task)로 설정하고, 샘플별·모달리티별 신뢰도를 추정하며 학습된 소프트 게이팅(soft gating)과 품질 의존적 드롭아웃을 통해 각 모달리티의 기여도를 조절하는 Quality-Aware Adaptive Fusion(QAAF)을 제안한다. VA 추정 문제에서 QAAF는 Aff-wild2에서 late fusion 앙상블을 통해 평균 Concordance Correlation Coefficient(CCC) 0.472를 달성하며, 동일 설정의 기준선 앙상블(0.415) 및 단일 백본 기준선(0.288) 대비 향상을 보인다. 또한 제안한 QAAF는 사용 불가능한 모달리티에 대해 더 큰 견고성을 보이며, 한 모달리티가 누락될 때 CCC가 상대적으로 7.5–34.4%만 감소한다. 이어서 우리는 이러한 VA 학습 특징이 신원 특화 학습 없이도 신원을 인코딩하는지 조사한다. AFEW-VA(67명 배우)와 YTF(1,595명 피험자)에서 VA 학습 백본 특징은 평가된 소프트 생체인식(soft biometric) 방법 중 1위를 기록했으며, ArcFace와의 score-level 융합은 두 데이터셋 모두에서 EER을 낮춘다(AFEW-VA에서 0.022→0.021, YTF에서 0.106→0.104). AFEW-VA에서는 ArcFace의 오수용(false accept) 중 68.2%를 수정한다. 이러한 결과는 다중모달 VA 추정이 기존 얼굴 인식을 보완하는 소프트 생체인식 모달리티임을 입증한다.
MIDI-RAE-JEPA: 기호 음악을 위한 계층적 표현 학습 및 생성
MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
풍부한 음악 구조의 내부 표현은 기계 보조 음악 공동 작곡과 같은 음악 이해 작업에 필수적이지만, 기호 음악 표현을 위한 자기지도 학습(SSL) 접근법은 여전히 충분히 탐구되지 않았으며, 특히 음악 구조의 계층적 다중 척도(multi-scale) 특성을 인코딩하는 방법은 더욱 그렇다. 우리는 피치(pitch) 및 시간 이동(time-shift) 동변성(equivariance) 목표를 LeJEPA와 Swin Transformer V2 인코더와 결합한 MIDI-RAE-JEPA를 제안하여, 피아노 롤(piano roll) 이미지로 인코딩된 기호 음악의 이러한 계층적 표현을 학습한다. 시간 이동 동변성 목표는 모델이 시간적 음악 관계를 내면화하도록 유도한다. 인코더는 마스크된 임베딩 예측기(MEP)를 포함한 순수 자기지도 목표로만 학습되며, SIGReg를 통해 붕괴(collapse)를 방지한다. 고정(frozen)된 인코더 임베딩 위에서 학습된 별도의 디코더는 재구성 F1 0.995를 달성하며, 해당 임베딩을 조건으로 하는 flow matching 생성 모델은 조건 발췌(conditioning excerpt)의 음역(pitch register)과 리듬 밀도(rhythmic density)를 밀접하게 재현하는 생성 결과를 만들어 내는 반면, 불일치하는 조건(conditioning)은 관련 없지만 음악적으로 그럴듯한(plausible) 출력을 낳는다. 학습된 표현은 하위 감정 분류 작업에서 Haar scattering transform 기준선을 능가하며, 임베딩 거리는 피치 및 시간 이동 크기에 따라 단조 증가하여 가측 가능한 동변성을 확인한다. 이러한 결과는 동변성 기반 SSL 목표가 충분한 세밀 수준(fine-level) 인코더 용량과 결합될 때, 기호 음악의 의미적으로 풍부하고 생성에 유용한 표현을 향한 실행 가능한 경로를 제공함을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.