Improving Cross-Corpus Speech Emotion Recognition with Adversarial Discriminative Domain Generalization (ADDoG)
원문 초록
Automatic speech emotion recognition provides computers with critical context to enable user understanding. While methods trained and tested within the same dataset have been shown successful, they often fail when applied to unseen datasets. To address this, recent work has focused on adversarial methods to find more generalized representations of emotional speech. However, many of these methods have issues converging, and only involve datasets collected in laboratory conditions. In this paper, we introduce Adversarial Discriminative Domain Generalization (ADDoG), which follows an easier to train "meet in the middle" approach. The model iteratively moves representations learned for each dataset closer to one another, improving cross-dataset generalization. We also introduce Multiclass ADDoG, or MADDoG, which is able to extend the proposed method to more than two datasets, simultaneously. Our results show consistent convergence for the introduced methods, with significantly improved results when not using labels from the target dataset. We also show how, in most cases, ADDoG and MADDoG can be used to improve upon baseline state-of-the-art methods when target dataset labels are added and in-the-wild data are considered. Even though our experiments focus on cross-corpus speech emotion, these methods could be used to remove unwanted factors of variation in other settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
대화 맥락을 활용한 음성 감정 표현 보강
Enriching Speech Emotion Representations with Conversational Context
감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.
우울증 탐지를 위한 멀티모달 도메인 일반화: 어텐션 기반 BiLSTM 네트워크와 도메인 적대적 학습
Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training
심층 학습을 이용한 자동 우울증 탐지는 유망한 결과를 보여왔지만, 화자 간 변동성에서 기인하는 도메인 시프트(domain shift)로 인해 일반화가 제한되는 경우가 많다. 이러한 중요한 문제를 해결하기 위해, 우리는 도메인 일반화(DG)를 통합한 최초의 환자 독립적 멀티모달 우울증 탐지 프레임워크를 제안하며, 음향 및 텍스트 모달리티를 공동으로 활용한다. 제안 모델은 양방향 장단기 메모리(BiLSTM)와 모달 내 및 교차 모달 어텐션 메커니즘을 통합하고, 의사결정을 위해 세그먼트 수준 융합을 수반한다. 일반화는 신경망의 도메인 적대적 학습(DANN)에서 영감을 받은 그래디언트 역전 층을 적용하여 더욱 향상되며, 이는 모델이 개별 화자를 식별하는 능력을 적대적으로 제한함으로써 도메인 불변 표현을 촉진하고, 효과적으로 환자 특이적 바이어스를 줄인다. Androids-Corpus 데이터셋에서 5-겹 교차 검증(CV) 프로토콜로 실험을 수행하여, 다양한 세그먼트 길이에 걸쳐 오디오 및 텍스트 특징 추출기의 다양한 조합을 평가했으며, 30초 세그먼트 길이에서 MelSpec과 ItalianBERT를 최적 기준선으로 확인했다. 이 기준선에 DG를 추가하면 정확도가 2.5%, F1 점수가 3.3% 향상되어, 정확도 93.2%, 정밀도 93.2%, 재현율 96.2%, F1 점수 94.2%를 달성하며 기존의 모든 벤치마크를 능가한다. 광범위한 ablation 연구를 통해 멀티모달 융합, 심층 아키텍처 선택, DG의 영향을 평가하고, 이들이 견고하고 일반화 가능한 우울증 탐지에 기여하는 결합적 효과를 강조한다.
정서 행동 분석을 위한 어텐션의 인과적 감독
Causal Supervision of Attention for Affective Behaviour Analysis
제11회 Affective Behaviour Analysis in-the-wild Competition에는 Multi-Task Learning Challenge가 포함되며, 참가자들은 Valence-Arousal 추정, 표정 인식, Action Unit Detection을 위한 통합 프레임워크를 개발한다. 과제는 신원, 조명, 자세, 인구통계적 변이와 같은 허위 요인(spurious factors)에 견고하면서도 피험자 간 일반화되는 감정 관련 표현을 학습하는 데 있다. 사전학습된 백본에서 추출한 특징을 예측을 위한 간결한 표현으로 집계하기 위해, 어텐션 메커니즘이 가장 정보가 풍부한 얼굴 영역에 선택적으로 가중치를 부여한다. 그러나 이러한 어텐션 가중치는 진정한 정서 단서보다 데이터셋 특이적 상관관계를 여전히 포착할 수 있다. 이 한계를 해결하기 위해, 우리는 인과적 감독과 어텐션 구성요소의 교차-공분산 정규화를 결합한 어텐션 풀링 프레임워크를 제안하여, 피험자 불변 어텐션과 비중복 표현을 유도함으로써 일반화를 향상시킨다. 우리 방법은 공식 검증 세트에서 VA 추정에 대해 $CCC_{VA}=0.5123$을, 표정 인식과 Action Unit Detection에 대해 각각 $F_{EX}=0.3116$ 및 $F_{AU}=0.3974$을 달성하여, 개별 과제 지표의 합인 전체 $P$ 점수 $1.2214$를 기록한다.
교차 데이터셋 EEG 기반 감정 인식을 위한 마스크 생성-대조 표현 학습
Masked Generative-Contrastive Representation Learning for Cross-Dataset EEG-Based Emotion Recognition
자기지도 학습(SSL)은 특징 표현과 일반화를 개선함으로써 교차 데이터셋 전이에 강한 잠재력을 보인다. 그러나 EEG 기반 감정 인식에 대한 적용은 아직 대부분 미탐구 영역으로 남아 있다. 기존 SSL 방법들은 다양한 채널 구성 하에서 EEG 신호의 복잡한 시공간적 의존성을 포착하고, 노이즈에 강인한 세밀한 표현을 추출하며, 피험자 간 잘 일반화되는 전역 특징을 도출하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 EEG 기반 감정 인식을 위해 특별히 설계된 새로운 SSL 프레임워크인 마스크 생성-대조 표현 학습(MGCRL)을 제안한다. 영역 인식 시공간 인코더를 기반으로 구축된 MGCRL은 생성 학습과 대조 학습을 통합하여 교차 데이터셋 일반화를 위한 세밀한 표현과 전역 판별 표현을 모두 달성한다. MGCRL은 세 가지 핵심 설계를 도입한다: 1) 지역화된 공간적·기능적 관계를 포착하기 위해 영역 기반 그래프 합성곱을 통합한 시공간 인코더로, 영역별 특징 학습을 강화하고 데이터셋 간 다양한 EEG 채널 구성의 영향을 완화한다; 2) 마스크된 특징을 활용하여 노이즈 강인성이 있는 세밀한 표현을 포착하는 결합 임베딩 예측 아키텍처(JEPA) 기반 생성 학습 메커니즘으로, 미묘한 감정 상태를 특성화하는 모델의 역량을 향상시킨다; 3) 동일한 자극에 걸쳐 시간적으로 안정적이고 피험자 간 불변적인 표현을 학습하기 위해 마스크된 특징과 원본 특징을 활용하는 대조 학습 전략으로, 감정 판별과 피험자 간 일반화를 향상시킨다. 이러한 설계들 하에서 MGCRL은 보편적 표현을 학습하는 뛰어난 능력을 보인다. 대규모 FACED 데이터셋에서 사전학습하고 다수의 SEED-시리즈 데이터셋에서 미세조정하는 광범위한 실험이 MGCRL의 효과성을 입증한다.
Unlocking the Emotional States of High-Risk Suicide Callers through Speech Analysis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.