Non-Contrastive Self-supervised Learning for Utterance-Level Information Extraction from Speech
원문 초록
In recent studies, self-supervised pre-trained models tend to outperform supervised pre-trained models in transfer learning. In particular, self-supervised learning (SSL) of utterance-level speech representation can be used in speech applications that require discriminative representation of consistent attributes within an utterance: speaker, language, emotion, and age. Existing frame-level self-supervised speech representation, e.g., wav2vec, can be used as utterance-level representation with pooling, but the models are usually large. There are also SSL techniques to learn utterance-level representation. One of the most successful is a contrastive method, which requires negative sampling: selecting alternative samples to contrast with the current sample (anchor). However, this does not ensure that all the negative samples belong to classes different from the anchor class without labels. This paper applies a non-contrastive self-supervised method to learn utterance-level embeddings. We adapted DIstillation with NO labels (DINO) from computer vision to speech. Unlike contrastive methods, DINO does not require negative sampling. We compared DINO to x-vector trained in a supervised manner. When transferred to down-stream tasks (speaker verification, speech emotion recognition (SER), and Alzheimer's disease detection), DINO outperformed x-vector. We studied the influence of several aspects during transfer learning such as dividing the fine-tuning process into steps, chunk lengths, or augmentation. During fine-tuning, tuning the last affine layers first and then the whole network surpassed fine-tuning all at once. Using shorter chunk lengths, although they generate more diverse inputs, did not necessarily improve performance, implying speech segments at least with a specific length are required for better performance per application. Augmentation was helpful in SER.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Leveraging Pre-Trained Acoustic Feature Extractor For Affective Vocal Bursts Tasks
방보다 더 조용하게: 음성 인코더의 표현 드리프트와 태스크 견고성
Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
비음성 간섭은 그에 상응하는 태스크 성능 저하 없이도 음성 표현을 변화시킬 수 있다. 우리는 고정된(frozen) 인코더 8개를 4가지 태스크에서 시험하며, 녹음 전체에 걸쳐, 발화 중에, 또는 휴지(pause) 구간에 비음성 소리를 추가한다. 녹음 전체에 간섭을 가한 경우, 임베딩 드리프트(embedding drift)는 7가지 소리에 걸쳐 태스크 손실과 함께 변하며, 평균 스피어만 상관계수는 0.81-0.88이다. 동일한 소리를 발화 구간과 휴지 구간 사이에서 옮기면 이러한 양상이 달라진다. 조용한 수준에서 중간 수준의 간섭에서는 휴지 구간 간섭이 더 큰 드리프트를 일으키는 반면, 발화 구간 간섭은 의도 인식, 화자 검증, 음성 인식에서 대체로 더 큰 손실을 초래한다. 감정 인식에서는 삽입 위치의 효과가 더 약하게 나타난다. 또한 휴지 구간 간섭은 간섭이 삽입된 구간을 넘어 음성 프레임 표현까지 변화시킨다. 추정된 녹음 배경 소음 수준보다 낮은 간섭이라 하더라도, 반복 발화 녹음(repeated speech takes) 사이의 차이만큼 임베딩을 크게 변화시킬 수 있다. 드리프트는 서로 다른 소리가 미치는 영향의 순위를 매기는 데에는 도움이 되지만, 더 큰 드리프트가 항상 더 큰 태스크 손실을 의미하는 것은 아니다.
짧은 구간을 넘어서: 벡터 아카이브로 화자 임베딩 확장
Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives
최신 화자 검증(SV) 시스템은 짧은 발화에서는 화자 고유 정보가 부족해 성능이 크게 저하된다. 이 문제에 대응하기 위해, 짧은 길이 음성에서 특징 추출을 강화하도록 설계한 Vector Archive Mapping ECAPA(VAM-ECAPA)라는 새로운 시스템을 제안한다. 본 시스템의 핵심은 트랜스포머 기반 Vector Archive Mapping with Statistical Pooling(TVAMSP) 모듈로, 정보가 빈약한 특징을 학습 가능한 표준 화자 특성 Vector Archive에 매핑하여 풍부하게 만든다. TVAMSP 모듈을 강력한 WavLM+ECAPA-TDNN 기준선에 통합함으로써, 짧은 구간의 희소 특징을 견고하고 판별력 있는 화자 표현으로 매핑하도록 학습한다. VoxCeleb1 벤치마크 실험에서 제안 VAM-ECAPA는 1초 테스트 구간에서 EER 8.334%라는 매우 경쟁력 있는 성능을 달성했으며, 이는 관례적으로 학습한 기준선 대비 상대 오류 54.8% 감소에 해당한다.
대화 맥락을 활용한 음성 감정 표현 보강
Enriching Speech Emotion Representations with Conversational Context
감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.
모델의 눈을 열다: 비디오 및 문맥 인식 멀티모달 백채널 예측
Open Your Model's Eyes: Video and Context-Aware Multimodal Backchannel Prediction
백채널(backchannel)은 공감과 이해와 같은 청자의 상태를 나타내며, 자연스러운 인간 상호작용의 기본 요소이다. 그러나 현재 접근법은 오디오와 텍스트에만 의존한다. 이는 정확한 예측에 필요한 표정과 제스처와 같은 중요한 시각적 단서뿐만 아니라 더 넓은 대화 문맥을 누락한다. 본 논문에서는 Multi-Layer Multimodal Alignment(MMA)를 통해 시각 정보를 활용하는 새로운 프레임워크인 Context-Aware Multimodal Alignment for Backchannel Prediction(CAMA-BC)을 제안한다. 정렬(alignment) 과정은 두 단계로 구성된다. 먼저 Context Alignment(MMA-CA)는 비디오가 포함된 라벨 없는 대화를 활용하여 대화 문맥을 포착한다. 다음으로 Backchannel Alignment(MMA-BA)는 백채널 예측을 위해 표현을 특화적으로 파인튜닝(fine-tuning)한다. 실험 결과, CAMA-BC는 기존 방법과 단순한 멀티모달 베이스라인 모두를 크게 능가하며, 공감과 같은 복잡한 백채널을 인식하는 데 특히 효과적임을 보여준다.
품질 인식 다중모달 융합이 정서-각성 특징 속 암묵적 신원을 드러냄
Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features
기존 얼굴 인식은 정적 외모 단서에 의존하며, 표정 변화, 가림, 조명 불량이 있는 비제약 환경에서 성능이 저하된다. 우리는 시청각 표정 역학이 정적 외모를 보완하는 신원 구별 정보를 담고 있으며, 이러한 신호를 추출하려면 in-the-wild 영상의 가변적 입력 품질에 강건한 다중모달 표현이 필요하다고 가설을 세운다. 이러한 표현을 학습하기 위해 다중모달 정서-각성(valence-arousal, VA) 추정을 사전과제(pretext task)로 설정하고, 샘플별·모달리티별 신뢰도를 추정하며 학습된 소프트 게이팅(soft gating)과 품질 의존적 드롭아웃을 통해 각 모달리티의 기여도를 조절하는 Quality-Aware Adaptive Fusion(QAAF)을 제안한다. VA 추정 문제에서 QAAF는 Aff-wild2에서 late fusion 앙상블을 통해 평균 Concordance Correlation Coefficient(CCC) 0.472를 달성하며, 동일 설정의 기준선 앙상블(0.415) 및 단일 백본 기준선(0.288) 대비 향상을 보인다. 또한 제안한 QAAF는 사용 불가능한 모달리티에 대해 더 큰 견고성을 보이며, 한 모달리티가 누락될 때 CCC가 상대적으로 7.5–34.4%만 감소한다. 이어서 우리는 이러한 VA 학습 특징이 신원 특화 학습 없이도 신원을 인코딩하는지 조사한다. AFEW-VA(67명 배우)와 YTF(1,595명 피험자)에서 VA 학습 백본 특징은 평가된 소프트 생체인식(soft biometric) 방법 중 1위를 기록했으며, ArcFace와의 score-level 융합은 두 데이터셋 모두에서 EER을 낮춘다(AFEW-VA에서 0.022→0.021, YTF에서 0.106→0.104). AFEW-VA에서는 ArcFace의 오수용(false accept) 중 68.2%를 수정한다. 이러한 결과는 다중모달 VA 추정이 기존 얼굴 인식을 보완하는 소프트 생체인식 모달리티임을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.