A Graph Isomorphism Network with Weighted Multiple Aggregators for Speech Emotion Recognition
원문 초록
Speech emotion recognition (SER) is an essential part of human-computer interaction. In this paper, we propose an SER network based on a Graph Isomorphism Network with Weighted Multiple Aggregators (WMA-GIN), which can effectively handle the problem of information confusion when neighbour nodes' features are aggregated together in GIN structure. Moreover, a Full-Adjacent (FA) layer is adopted for alleviating the over-squashing problem, which is existed in all Graph Neural Network (GNN) structures, including GIN. Furthermore, a multi-phase attention mechanism and multi-loss training strategy are employed to avoid missing the useful emotional information in the stacked WMA-GIN layers. We evaluated the performance of our proposed WMA-GIN on the popular IEMOCAP dataset. The experimental results show that WMA-GIN outperforms other GNN-based methods and is comparable to some advanced non-graph-based methods by achieving 72.48% of weighted accuracy (WA) and 67.72% of unweighted accuracy (UA).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
역동성 포착: 4D 표정 강도 데이터셋
Capturing Dynamics: The 4D Facial Expression Intensity Dataset
표정 강도(facial expression intensity)의 추정 및 분석은 정서적 소통과 인간-컴퓨터 상호작용(HCI)에서 중요한 역할을 합니다. 기존 연구는 주로 프레임 단위의 2D 표현으로부터 표정 강도를 탐지하고 추정하는 데 집중해 왔습니다. 그러나 실제 세계의 표정은 본질적으로 3D이자 시간적으로 연속적이므로, 이러한 한계는 표정을 포괄적으로 이해하는 데 제약이 됩니다. 본 논문에서는 4D 표정 강도 데이터셋(4D Facial Expression Intensity Dataset, 4DFEID)을 제안하여 표정 강도에 대한 인식을 연구합니다. 연구진은 매개변수 기반 얼굴 모델(parametric face model)을 활용하고 제어된 기하학적 변형을 적용하여 총 2,869개의 메시 시퀀스를 구축함으로써, 다양한 최고 강도(peak intensity)와 신원(identity) 속성을 지닌 4D 데이터 인스턴스를 생성했습니다. 또한 크라우드소싱 플랫폼을 통해 리커트 척도(Likert scale) 기반의 주관적 강도 인식 평가 데이터를 90,000건 이상 수집했습니다. 아울러 새로운 데이터셋에서 에피소드 강도 추정을 위한 베이스라인을 수립하고자 다양한 아키텍처와 집계 방식을 탐구하였으며, 시공간 그래프 모델(spatial-temporal graph models)이 기존의 프레임 집계 방식보다 일관되게 우수한 성능을 보임을 확인했습니다. 2D 정적 이미지에 의존하는 기존 데이터셋과 달리, 제안된 4D-FEID 데이터셋은 동적 3D 자극을 활용하여 표정 강도 인식을 연구할 수 있는 독창적이고 필수적인 자원을 커뮤니티에 제공합니다. 높은 충실도(fidelity)와 시공간적 일관성을 갖춘 얼굴 데이터를 제공함으로써, 4D-FEID는 더 미묘하고 자연스러운 표정 분석 연구를 위한 새로운 기반을 마련하고 정서 컴퓨팅(affective computing) 및 인간-컴퓨터 상호작용 분야의 기존 연구 공백을 해소합니다. 해당 데이터셋은 링크에서 이용할 수 있습니다.
대화 맥락을 활용한 음성 감정 표현 보강
Enriching Speech Emotion Representations with Conversational Context
감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.
경량 시간 합성곱 네트워크를 이용한 효율적이고 해석 가능한 신체 기반 감정 인식
Efficient and Interpretable Body-Based Emotion Recognition with Lightweight Temporal Convolutional Networks
신체 기반 감정 인식은 실시간 정서(affective) 시스템에 중요하지만, 그래프 기반 골격(skeleton) 모델은 계산 비용이 많이 들 수 있다. 본 논문은 경량 시간 합성곱 네트워크(TCN)가 신체 기반 감정 분류를 위한 효율적이고 해석 가능한 대안을 제공할 수 있는지 조사한다. DIEM-A에서 TCN 모델군을 평가하고, 정확도, macro-F1, 매개변수 수, 추론 지연시간을 기준으로 그래프 기반 시계열 그래프(G-TSG) 기준선과 비교한다. G-TSG가 최고 평균 성능을 달성하지만, TCN-Base는 정확도 $1.58$점, macro-F1 $1.25$점 이내를 유지하면서 매개변수를 $79.18\%$ 줄이고 분류기 지연시간을 약 $12.5\times$ 감소시킨다. 또한 영역별 TCN 모델, zero-based occlusion, G-TSG 그래디언트 saliency를 사용하여 신체 영역 기여도를 분석한다. 결과는 상체 움직임이 독립적인 영역 단서 중 가장 강력함을, 신체 영역의 유용성이 감정에 따라 달라짐을, 그리고 서로 다른 해석 가능성 방법이 모델 동작의 서로 다른 측면을 포착함을 보여준다. 이러한 결과는 경량 TCN이 효율적인 신체 기반 감정 인식을 지원하면서, 움직임 단서가 분류에 어떻게 기여하는지에 대한 실용적 통찰도 제공할 수 있음을 시사한다.
Explainable graph attention network for stress recognition (StressGAT) via differential action units
AUCH-Net: 교차 도메인 퓨샷 얼굴 표정 인식을 위한 액션 유닛 기반 일관성 인식 하이퍼그래프 네트워크
AUCH-Net: Action Unit-Based Consistency-Aware Hypergraph Network for Cross-Domain Few-Shot Facial Expression Recognition
최근 교차 도메인 퓨샷 얼굴 표정 인식(CF-FER)이 상당한 관심을 받고 있다. 그러나 기존 CF-FER 방법의 성능은 여전히 불만족스러운데, 이는 큰 도메인 차이와 제한된 타깃 샘플 하에서 이전 가능한 특징 학습이 미흡하기 때문이다. 다행히 액션 유닛(AU)은 서로 다른 얼굴 근육의 움직임을 나타내며, 도메인 내외에서 표정을 기술하는 데 일관된 개념적 의미론을 제공한다. 이에 영감을 받아, AU에 일관성 인식 하이퍼그래프를 구성하는 새로운 액션 유닛 기반 일관성 인식 하이퍼그래프 네트워크(AUCH-Net)를 CF-FER를 위해 제안한다. 구체적으로, AUCH-Net은 새로운 AU 특징 학습(AFL) 모듈과 새로운 시각적 특징 학습(VFL) 모듈을 제시한다. AFL 모듈은 새로운 관계 일관성 손실과 AU 정규화 손실의 지침 하에 AU 특징을 학습하고, VFL 모듈은 관계 일관성 손실과 분류 손실의 감독 하에 시각적 특징을 학습한다. 일관된 AU 특징을 학습함으로써 AUCH-Net은 AU와 표정 범주 간의 연결을 효과적으로 모델링한다. 그 결과, 세밀한 얼굴 변화와 고수준 표정 범주 사이의 간극을 메울 수 있어, 이전 가능한 특징 표현의 학습을 크게 촉진한다. 실험실(in-the-lab) 및 실세계(in-the-wild) 데이터셋 모두에서의 광범위한 실험은 우리 방법이 여러 최신(state-of-the-art) 방법보다 일관되게 우수한 성능을 보임을 나타낸다. 우리 결과는 AU 간의 관계를 모델링하는 것이 교차 도메인 퓨샷 시나리오에서 FER에 상당한 잠재력을 지님을 분명히 보여준다.
심리학적 기반 레이블 구조를 활용한 EEG 기반 감정 인식을 위한 그래프 정규화 심층 학습
Graph-Regularized Deep Learning for EEG-Based Emotion Recognition with Psychologically-Grounded Label Structure
EEG 기반 감정 인식은 정신 건강 모니터링 및 감성 뇌-컴퓨터 인터페이스(BCI)에 있어 매우 중요하지만, 기존 심층 학습(deep learning) 접근법은 감정 클래스를 독립된 레이블로 취급하여 심리적 상호 의존성을 무시하는 경우가 많다. 본 논문에서는 감정을 그래프의 노드로 개념화하고, 에지(edge)가 차원적 감정 이론에 기반한 근접성을 인코딩하는 그래프 정규화(graph-regularized) 학습 프레임워크를 제안한다. 우리는 계산 복잡도 증가 순으로 세 가지 상호 보완적인 정규화(regularization) 전략을 적용한다: 그래프 레이블 스무딩(Graph Label Smoothing, 직관적 소프트 레이블링), 그래프 라플라시안을 통한 그래프 상의 교환 거리(Commuting distance on graph via Graph Laplacian, 스펙트럴 그래프 이론), 슬라이스드 와서스타인 거리(Sliced Wasserstein Distance, 그래프 상의 최적 수송). 이 전략들은 확립된 감정 위상 구조에서 벗어난 모델(model) 예측에 패널티를 부과한다. 제안된 프레임워크는 세 가지 대표적인 백본 아키텍처, 즉 AudioTransformer(순수 트랜스포머(transformer)), Conformer(CNN-트랜스포머 하이브리드), DCGNN(인과 그래프 신경망(causal graph neural network))에 걸쳐 평가되어 아키텍처에 독립적인 이점을 입증한다. SEED-IV(4개 클래스) 및 SEED-V(5개 클래스) 데이터셋에서의 실험 결과 일관된 성능 향상이 나타났으며, 최선의 경우 정확도 최대 +5.42% 향상 및 심리적으로 타당하지 않은 오분류 39% 감소를 달성하였다. 궁극적으로, 본 프레임워크는 표준 접근법으로 달성 가능한 성능의 상한선을 높이는 데 기여한다. 코드는 추후 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.