arXiv:2305.12263

Self-supervised representations in speech-based depression detection

Wen Wu, Chao Zhang, Philip C. Woodland

제출 2023-05-20

원문 초록

This paper proposes handling training data sparsity in speech-based automatic depression detection (SDD) using foundation models pre-trained with self-supervised learning (SSL). An analysis of SSL representations derived from different layers of pre-trained foundation models is first presented for SDD, which provides insight to suitable indicator for depression detection. Knowledge transfer is then performed from automatic speech recognition (ASR) and emotion recognition to SDD by fine-tuning the foundation models. Results show that the uses of oracle and ASR transcriptions yield similar SDD performance when the hidden representations of the ASR model is incorporated along with the ASR textual information. By integrating representations from multiple foundation models, state-of-the-art SDD results based on real ASR were achieved on the DAIC-WOZ dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27382v1cs.SD공통 태그 Self-Supervised Learning, Automatic Speech Recognition

얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정

When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models

음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.

arXiv:2607.22794v1cs.LG공통 태그 Emotion Recognition, Depression Detection

우울증 탐지를 위한 멀티모달 도메인 일반화: 어텐션 기반 BiLSTM 네트워크와 도메인 적대적 학습

Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training

심층 학습을 이용한 자동 우울증 탐지는 유망한 결과를 보여왔지만, 화자 간 변동성에서 기인하는 도메인 시프트(domain shift)로 인해 일반화가 제한되는 경우가 많다. 이러한 중요한 문제를 해결하기 위해, 우리는 도메인 일반화(DG)를 통합한 최초의 환자 독립적 멀티모달 우울증 탐지 프레임워크를 제안하며, 음향 및 텍스트 모달리티를 공동으로 활용한다. 제안 모델은 양방향 장단기 메모리(BiLSTM)와 모달 내 및 교차 모달 어텐션 메커니즘을 통합하고, 의사결정을 위해 세그먼트 수준 융합을 수반한다. 일반화는 신경망의 도메인 적대적 학습(DANN)에서 영감을 받은 그래디언트 역전 층을 적용하여 더욱 향상되며, 이는 모델이 개별 화자를 식별하는 능력을 적대적으로 제한함으로써 도메인 불변 표현을 촉진하고, 효과적으로 환자 특이적 바이어스를 줄인다. Androids-Corpus 데이터셋에서 5-겹 교차 검증(CV) 프로토콜로 실험을 수행하여, 다양한 세그먼트 길이에 걸쳐 오디오 및 텍스트 특징 추출기의 다양한 조합을 평가했으며, 30초 세그먼트 길이에서 MelSpec과 ItalianBERT를 최적 기준선으로 확인했다. 이 기준선에 DG를 추가하면 정확도가 2.5%, F1 점수가 3.3% 향상되어, 정확도 93.2%, 정밀도 93.2%, 재현율 96.2%, F1 점수 94.2%를 달성하며 기존의 모든 벤치마크를 능가한다. 광범위한 ablation 연구를 통해 멀티모달 융합, 심층 아키텍처 선택, DG의 영향을 평가하고, 이들이 견고하고 일반화 가능한 우울증 탐지에 기여하는 결합적 효과를 강조한다.

arXiv:2607.22729v1cs.CV공통 태그 Self-Supervised Learning, Emotion Recognition

모델의 눈을 열다: 비디오 및 문맥 인식 멀티모달 백채널 예측

Open Your Model's Eyes: Video and Context-Aware Multimodal Backchannel Prediction

백채널(backchannel)은 공감과 이해와 같은 청자의 상태를 나타내며, 자연스러운 인간 상호작용의 기본 요소이다. 그러나 현재 접근법은 오디오와 텍스트에만 의존한다. 이는 정확한 예측에 필요한 표정과 제스처와 같은 중요한 시각적 단서뿐만 아니라 더 넓은 대화 문맥을 누락한다. 본 논문에서는 Multi-Layer Multimodal Alignment(MMA)를 통해 시각 정보를 활용하는 새로운 프레임워크인 Context-Aware Multimodal Alignment for Backchannel Prediction(CAMA-BC)을 제안한다. 정렬(alignment) 과정은 두 단계로 구성된다. 먼저 Context Alignment(MMA-CA)는 비디오가 포함된 라벨 없는 대화를 활용하여 대화 문맥을 포착한다. 다음으로 Backchannel Alignment(MMA-BA)는 백채널 예측을 위해 표현을 특화적으로 파인튜닝(fine-tuning)한다. 실험 결과, CAMA-BC는 기존 방법과 단순한 멀티모달 베이스라인 모두를 크게 능가하며, 공감과 같은 복잡한 백채널을 인식하는 데 특히 효과적임을 보여준다.

arXiv:2607.21347v1cs.CV공통 태그 Self-Supervised Learning, Emotion Recognition

품질 인식 다중모달 융합이 정서-각성 특징 속 암묵적 신원을 드러냄

Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features

기존 얼굴 인식은 정적 외모 단서에 의존하며, 표정 변화, 가림, 조명 불량이 있는 비제약 환경에서 성능이 저하된다. 우리는 시청각 표정 역학이 정적 외모를 보완하는 신원 구별 정보를 담고 있으며, 이러한 신호를 추출하려면 in-the-wild 영상의 가변적 입력 품질에 강건한 다중모달 표현이 필요하다고 가설을 세운다. 이러한 표현을 학습하기 위해 다중모달 정서-각성(valence-arousal, VA) 추정을 사전과제(pretext task)로 설정하고, 샘플별·모달리티별 신뢰도를 추정하며 학습된 소프트 게이팅(soft gating)과 품질 의존적 드롭아웃을 통해 각 모달리티의 기여도를 조절하는 Quality-Aware Adaptive Fusion(QAAF)을 제안한다. VA 추정 문제에서 QAAF는 Aff-wild2에서 late fusion 앙상블을 통해 평균 Concordance Correlation Coefficient(CCC) 0.472를 달성하며, 동일 설정의 기준선 앙상블(0.415) 및 단일 백본 기준선(0.288) 대비 향상을 보인다. 또한 제안한 QAAF는 사용 불가능한 모달리티에 대해 더 큰 견고성을 보이며, 한 모달리티가 누락될 때 CCC가 상대적으로 7.5–34.4%만 감소한다. 이어서 우리는 이러한 VA 학습 특징이 신원 특화 학습 없이도 신원을 인코딩하는지 조사한다. AFEW-VA(67명 배우)와 YTF(1,595명 피험자)에서 VA 학습 백본 특징은 평가된 소프트 생체인식(soft biometric) 방법 중 1위를 기록했으며, ArcFace와의 score-level 융합은 두 데이터셋 모두에서 EER을 낮춘다(AFEW-VA에서 0.022→0.021, YTF에서 0.106→0.104). AFEW-VA에서는 ArcFace의 오수용(false accept) 중 68.2%를 수정한다. 이러한 결과는 다중모달 VA 추정이 기존 얼굴 인식을 보완하는 소프트 생체인식 모달리티임을 입증한다.

arXiv:2607.14537v1cs.SD공통 태그 Self-Supervised Learning, Emotion Recognition

MIDI-RAE-JEPA: 기호 음악을 위한 계층적 표현 학습 및 생성

MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music

풍부한 음악 구조의 내부 표현은 기계 보조 음악 공동 작곡과 같은 음악 이해 작업에 필수적이지만, 기호 음악 표현을 위한 자기지도 학습(SSL) 접근법은 여전히 충분히 탐구되지 않았으며, 특히 음악 구조의 계층적 다중 척도(multi-scale) 특성을 인코딩하는 방법은 더욱 그렇다. 우리는 피치(pitch) 및 시간 이동(time-shift) 동변성(equivariance) 목표를 LeJEPA와 Swin Transformer V2 인코더와 결합한 MIDI-RAE-JEPA를 제안하여, 피아노 롤(piano roll) 이미지로 인코딩된 기호 음악의 이러한 계층적 표현을 학습한다. 시간 이동 동변성 목표는 모델이 시간적 음악 관계를 내면화하도록 유도한다. 인코더는 마스크된 임베딩 예측기(MEP)를 포함한 순수 자기지도 목표로만 학습되며, SIGReg를 통해 붕괴(collapse)를 방지한다. 고정(frozen)된 인코더 임베딩 위에서 학습된 별도의 디코더는 재구성 F1 0.995를 달성하며, 해당 임베딩을 조건으로 하는 flow matching 생성 모델은 조건 발췌(conditioning excerpt)의 음역(pitch register)과 리듬 밀도(rhythmic density)를 밀접하게 재현하는 생성 결과를 만들어 내는 반면, 불일치하는 조건(conditioning)은 관련 없지만 음악적으로 그럴듯한(plausible) 출력을 낳는다. 학습된 표현은 하위 감정 분류 작업에서 Haar scattering transform 기준선을 능가하며, 임베딩 거리는 피치 및 시간 이동 크기에 따라 단조 증가하여 가측 가능한 동변성을 확인한다. 이러한 결과는 동변성 기반 SSL 목표가 충분한 세밀 수준(fine-level) 인코더 용량과 결합될 때, 기호 음악의 의미적으로 풍부하고 생성에 유용한 표현을 향한 실행 가능한 경로를 제공함을 시사한다.

arXiv:2607.13986v1cs.CV공통 태그 Self-Supervised Learning, Emotion Recognition

다중 과업 정서 행동 분석을 위한 과업별 특징 융합 방법

Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis

11th Affective Behavior Analysis in-the-wild(ABAW11) 다중 과업 학습 챌린지는 공식 s-Aff-Wild2 이미지로부터 valence-arousal, 범주형 표정(categorical expressions), 얼굴 action unit을 예측하는 통합 시스템을 요구한다. 이러한 과업들은 얼굴 행동을 통해 자연스럽게 연관되어 있지만, 검증 실험 결과 서로 다른 시각적 특징, 시간적 처리 전략, 융합 메커니즘, 보정 절차로부터 이점을 얻는 것으로 나타났다. 본 논문에서는 ABAW11 다중 과업 정서 행동 분석을 위한 과업 적응형 특징 융합을 연구한다. 먼저 두 사전학습 시각 백본인 DINOv2 ViT-L 및 DINOv3 ConvNeXt-base를 외부 표현 지향 얼굴 이미지 세트에서 적응한 뒤 고정하여, 공식 ABAW11 데이터로부터 상보적인 프레임 수준 특징을 추출한다. 이 고정된 특징 위에 프레임 수준 예측 헤드, 시간적 합성곱 헤드, 사후 시간적 스무딩, LightGBM 모델, 특징 연결, 게이트 융합, 잔차 융합, 후기 로짓 융합, 임계값 보정, 공유 MTL 구조를 체계적으로 비교한다. 최종 시스템은 모든 과업이 단일 아키텍처를 공유하도록 강제하지 않고, 과업별 융합 및 예측 전략을 선택한다. ABAW11 검증 세트에서 선택된 시스템은 EXPR macro-F1 0.4222, AU macro-F1 0.5402, 평균 VA CCC 0.6717을 달성하여 전체 검증 점수 1.6341을 기록했다. 결과는 고정된 시각적 특징의 과업 적응형 융합이 ABAW 스타일 다중 과업 정서 행동 분석을 위한 단순하면서도 효과적인 전략임을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.